消息队列（Message Queue，简称 MQ）是阿里巴巴集团中间件技术部自主研发的专业消息中间件。

产品基于高可用分布式集群技术，提供消息发布订阅、消息轨迹查询、定时（延时）消息、资源统计、监控报警等一系列消息云服务，是企业级互联网架构的核心产品。

为分布式应用系统提供异步解耦、削峰填谷的能力，同时具备海量消息堆积、高吞吐、可靠重试等互联网应用所需的特性。

mq

从零手写实现 mq

Quick Start

quick start

需要

64位操作系统，最好是Linux/Unix/Mac；
64位JDK 1.6+；
Maven 3.x
Git
Screen

从零手写实现 mq

rocketmq java 入门案例

整体结构

|____src
| |____main
| | |____java
| | | |____com
| | | | |____ryo
| | | | | |____rocket
| | | | | | |____demo
| | | | | | | |____common
| | | | | | | | |____consumer
| | | | | | | | | |____Consumer.java
| | | | | | | | |____productor
| | | | | | | | | |____Productor.java
| | |____resources
| | | |____log4j.properties

maven 依赖

    com.aliyun.openservices
    ons-client
    1.8.0.Final


    com.alibaba
    fastjson
    1.2.59

显示文件信息

tree /f

其实接触 mq 已经多年了，但是一直停留在用的表面。

• 比如原理是什么？

两次 rpc + Broker 持久化 + 服务发现

• 如何保证不丢消息

• 如何提升性能

• 如何实现顺序消息？事务消息？

预测未来最好的方式

预测未来最好的方式就是去创造它。

无论是 active mq、kafka、pulsar。所有的 mq 原理其实是一样的，只是做了不同的优化。

基础

作为开发人员，对于 Apache 肯定耳熟能详。

但我们平时接触到的技术也不过是其冰山一角，本篇博客整理常见技术，作为接下来时间的学习目标。

Projects

projects-list

详细介绍一下 Apache Hadoop

Apache Hadoop是一个开源的分布式存储和计算框架，旨在处理大规模数据集。

它提供了一种可靠、可扩展、分布式计算的解决方案，使用户能够有效地存储和处理大量数据，无论数据是结构化、半结构化还是非结构化的。

以下是Apache Hadoop的一些关键特点和组件：

1. Hadoop分布式文件系统（HDFS）： Hadoop的核心组件之一，它是一个分布式文件系统，设计用于存储大规模数据，并能够提供高吞吐量的访问。HDFS通过将数据分布在多个节点上，实现了数据的冗余备份，提高了数据的可靠性。

2. Hadoop YARN（Yet Another Resource Negotiator）： 作为Hadoop的资源管理器，YARN负责集群资源的管理和作业调度。它允许多个应用程序共享集群资源，使Hadoop集群更加灵活和多任务。

3. Hadoop MapReduce： 一个基于YARN的编程模型，用于在Hadoop集群上并行处理大规模数据集。MapReduce模型将计算分成Map（映射）和Reduce（归约）两个阶段，便于处理和分析大规模数据。

4. Hadoop Common： 包含支持其他Hadoop模块的通用工具和库。这些工具提供了Hadoop框架所需的基本功能。