个人简介

Echo Blog


江湖无名 安心练剑
  • 流式计算-storm trident-06
    Apache Storm Trident Trident是Storm的延伸。像Storm,Trident也是由Twitter开发的。开发Trident的主要原因是在Storm上提供高级抽象,以及状态流处理和低延迟分布式查询。 Trident使用spout和bolt,但是这些低级组件在执行之前由Trident自动生成。 Trident具有函数,过滤器,联接,分组和聚合。 Trident...
    2019-05-10 03:08:59 | Stream
  • 流式计算-ALI Blink-05
    Apache Flink Apache Flink 是德国柏林工业大学的几个博士生和研究生从学校开始做起来的项目,早期叫做 Stratosphere。 2014 年,StratoSphere 项目中的核心成员从学校出来开发了 Flink,同时将 Flink 计算的主流方向定位为流计算,并在同年将 Flink 捐赠 Apache,后来快速孵化成为 Apache 的顶级项目。 Ali Bl...
    2019-05-10 03:08:59 | Stream
  • 流式计算-Compare 不同框架的选型-03
    实时流处理系统比较与选型 当前流行的实时流处理系统主要包括Apache基金会旗下的Apache Storm、Apache Flink、Apache Spark Streaming和Apache Kafka Streams等项目。 虽然它们和Heron同属于实时流处理范畴,但是它们也有各自的特点。 Heron对比Storm(包括Trident) 在Twitter内部,Heron替换了S...
    2019-05-10 03:08:59 | Stream
  • 流式计算-Twitter Heron-03
    重要概念定义 在开始了解Heron的具体架构和设计之前,我们首先定义一些流计算以及在Heron设计中用到的基本概念: Tuple:流计算任务中处理的最小单元数据的抽象。 Stream:由无限个Tuple组成的连续序列。 Spout:从外界数据源获得数据并生成Tuple的计算任务。 Bolt:处理上游Spout或者Bolt生成的Tuple的计算任务。 Topology:一个通过St...
    2019-05-10 03:08:59 | Stream
  • 流式计算-JStorm-02
    JStorm Alibaba JStorm is an enterprise fast and stable streaming process engine. Speed Run program up to 4x faster than Apache Storm. It is easy to switch from record mode to mini-batch mode. ...
    2019-05-10 03:08:59 | Stream
  • 流式计算-Storm-01
    Strom Apache Storm is a free and open source distributed realtime computation system. Apache Storm makes it easy to reliably process unbounded streams of data, doing for realtime processing what ...
    2019-05-10 03:08:59 | Stream
  • 流式计算-overview-00
    NoSQL 与 流式计算 虽然业务量的增加,转筒的 ALTP 主键无法支撑这么大的业务量与实时性。 NoSQL Redis Mongo InfluxData-分布式时序数据库 Opentsdb-分布式时序数据库 图数据库-Neo4j 感觉这些 DBA 更加擅长,我更加关心背后的思想和对于业务的帮助。 相关框架 MQ Apache Kafka apache-pulsar...
    2019-05-10 03:08:59 | Stream
  • 如何阅读源码-01-个人心得
    为什么阅读源码 一切都是从模仿开始的 每个人都不是天生会写代码的。 为了写出好的代码,我们应该学会阅读代码、 源码中我们能学到什么 看完一本《百年孤独》,并不会让我们写出类似的代码。 同理看完经典的代码,我们的收益也没有想象中的那么高。 那,我们能获得什么呢? (1)经典的套路,设计模式,设计思想等。 (2)变量的命名,优秀的 api 设计。 还有一些有趣的东西: (1...
    2019-05-10 03:08:59 | Source Code