• Apache Spark
  Apache Spark Apache Spark™ is a fast and general engine for large-scale data processing. speed Run programs up to 100x faster than Hadoop MapReduce in memory, or 10x faster on disk. 入门系列...
  2017-08-09 01:32:36 | Apache
• Apache Kafka-08-kafka implements kafka 实现原理
  网络层 网络层相当于一个 NIO 服务,在此不在详细描述. sendfile(零拷贝) 的实现是通过 MessageSet 接口的 writeTo 方法完成的.这样的机制允许 file-backed 集使用更高效的 transferTo 实现,而不在使用进程内的写缓存.线程模型是一个单独的接受线程和 N 个处理线程,每个线程处理固定数量的连接. 这种设计方式在其他地方经过大量的测试,发...
  2017-08-09 01:32:36 | MQ
• Apache Kafka-07-kafka 设计思想
  动机 我们设计的 Kafka 能够作为一个统一的平台来处理大公司可能拥有的所有实时数据馈送。 要做到这点，我们必须考虑相当广泛的用例。 Kafka 必须具有高吞吐量来支持高容量事件流，例如实时日志聚合。 Kafka 需要能够正常处理大量的数据积压，以便能够支持来自离线系统的周期性数据加载。 这也意味着系统必须处理低延迟分发，来处理更传统的消息传递用例。 我们希望支持对这些馈送进行...
  2017-08-09 01:32:36 | MQ
• Apache Kafka-06-kafka intro kafka 介绍
  介绍 Apache Kafka® 是 一个分布式流处理平台. 这到底意味着什么呢? 流处理特性 我们知道流处理平台有以下三种特性: 可以让你发布和订阅流式的记录。这一方面与消息队列或者企业消息系统类似。 可以储存流式的记录，并且有较好的容错性。 可以在流式记录产生时就进行处理。 Kafka适合什么样的场景? 它可以用...
  2017-08-09 01:32:36 | MQ
• Apache Kafka-05-springboot kafka 整合笔记
  背景 Kafka 实战（一）kafka 入门介绍 Kafka 实战（二）kafka 入门介绍 安装好了 kafka，于是想使用 springboot 整合一把。 便于以后使用翻阅。 快速开始 maven 引入 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.o...
  2017-08-09 01:32:36 | MQ
• Apache Kafka-05-springboot kafka 整合笔记 @KafkaListener 中的 groupId 和 consumer group-id
  背景 Kafka 实战（一）kafka 入门介绍 Kafka 实战（二）kafka 入门介绍 安装好了 kafka，于是想使用 springboot 整合一把。 便于以后使用翻阅。 快速开始 源代码： https://github.com/houbb/springboot-kafka-learn springboot kafka group.id多消费组配置 很早之...
  2017-08-09 01:32:36 | MQ
• Apache Kafka-04-kafka install on windows7 安装笔记
  背景 近期在使用 kafka，不过是阿里云的。 一时心痒痒，就像本地安装一下，环境是 window7，作为记录，便于以后学习。 基本环境 jdk apache kafka 基于 java 实现，所以需要安装下 java 基本环境。 λ java -version java version "1.8.0_102" Java(TM) SE Runtime Environment (b...
  2017-08-09 01:32:36 | MQ
• Apache Kafka-04-kafka install on windows10 安装笔记
  基础依赖 java 环境 λ java -version java version "1.8.0_371" Java(TM) SE Runtime Environment (build 1.8.0_371-b11) Java HotSpot(TM) 64-Bit Server VM (build 25.371-b11, mixed mode) zookeeper kafka 基于 ...
  2017-08-09 01:32:36 | MQ