• Oracle Wercker
  Wercker Wercker is a Docker-Native CI/CD Automation platform for Kubernetes & Microservice Deployments. 使用Wercker进行持续构建与发布 缘起 使用较为简单。可以和 Github 无缝连接。因为 jekyll 博客构建失败，邮件中没有详细失败信息。故使用...
  2017-08-10 05:35:13 | CI
• Kue 是一个由 redis 支持的优先作业队列，为 node.js 构建。
  Kue Kue 是一个由 redis 支持的优先作业队列，为 node.js 构建。 PROTIP 这是最新的 Kue 文档，请务必阅读更改列表。 特征 延迟工作 并行工作负载分布 工作事件和进度发布订阅 作业TTL 可选的回退重试 优雅的工人关闭 ...
  2017-08-09 01:32:36 | MQ
• celery 分布式任务队列
  什么是任务队列？ 任务队列用作跨线程或机器分配工作的机制。 任务队列的输入是一个工作单元，称为任务，专用工作进程然后不断监视队列以执行新工作。 Celery 通过消息进行通信，通常使用代理在客户端和工人之间进行调解。 为了启动任务，客户端将消息放入队列，然后代理将消息传递给工作人员。 Celery 系统可以由多个 worker 和 broker 组成，让位于高可用性和水平扩展。 ...
  2017-08-09 01:32:36 | MQ
• Apache Spark
  Apache Spark Apache Spark™ is a fast and general engine for large-scale data processing. speed Run programs up to 100x faster than Hadoop MapReduce in memory, or 10x faster on disk. 入门系列...
  2017-08-09 01:32:36 | Apache
• Apache Kafka-08-kafka implements kafka 实现原理
  网络层 网络层相当于一个 NIO 服务,在此不在详细描述. sendfile(零拷贝) 的实现是通过 MessageSet 接口的 writeTo 方法完成的.这样的机制允许 file-backed 集使用更高效的 transferTo 实现,而不在使用进程内的写缓存.线程模型是一个单独的接受线程和 N 个处理线程,每个线程处理固定数量的连接. 这种设计方式在其他地方经过大量的测试,发...
  2017-08-09 01:32:36 | MQ
• Apache Kafka-07-kafka 设计思想
  动机 我们设计的 Kafka 能够作为一个统一的平台来处理大公司可能拥有的所有实时数据馈送。 要做到这点，我们必须考虑相当广泛的用例。 Kafka 必须具有高吞吐量来支持高容量事件流，例如实时日志聚合。 Kafka 需要能够正常处理大量的数据积压，以便能够支持来自离线系统的周期性数据加载。 这也意味着系统必须处理低延迟分发，来处理更传统的消息传递用例。 我们希望支持对这些馈送进行...
  2017-08-09 01:32:36 | MQ
• Apache Kafka-06-kafka intro kafka 介绍
  介绍 Apache Kafka® 是 一个分布式流处理平台. 这到底意味着什么呢? 流处理特性 我们知道流处理平台有以下三种特性: 可以让你发布和订阅流式的记录。这一方面与消息队列或者企业消息系统类似。 可以储存流式的记录，并且有较好的容错性。 可以在流式记录产生时就进行处理。 Kafka适合什么样的场景? 它可以用...
  2017-08-09 01:32:36 | MQ
• Apache Kafka-05-springboot kafka 整合笔记
  背景 Kafka 实战（一）kafka 入门介绍 Kafka 实战（二）kafka 入门介绍 安装好了 kafka，于是想使用 springboot 整合一把。 便于以后使用翻阅。 快速开始 maven 引入 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.o...
  2017-08-09 01:32:36 | MQ