• Apache Hadoop-00-chat 闲聊
  chat 详细介绍一下 Apache Hadoop Apache Hadoop是一个开源的分布式存储和计算框架，旨在处理大规模数据集。 它提供了一种可靠、可扩展、分布式计算的解决方案，使用户能够有效地存储和处理大量数据，无论数据是结构化、半结构化还是非结构化的。 以下是Apache Hadoop的一些关键特点和组件： Hadoop分布式文件系统（HDFS）： Had...
  2017-12-11 21:47:35 | Apache
• Apache Hadoop-03-大数据之谷歌论文 Bigtable A Distributed Storage System for Structured Data
  原文地址 摘要 Bigtable是一个用于管理结构化数据的分布式存储系统，旨在扩展到非常大的规模：跨数千台通用服务器的数据达到了几十PB。 许多Google项目都在Bigtable中存储数据，包括网页索引、Google Earth和Google Finance。这些应用对Bigtable提出了不同的需求，包括数据大小（从URL到网页再到卫星图像）和延迟要求（从后端批量处理到实时数据服务...
  2017-12-11 21:47:35 | Big-Data
• Apache Hadoop-02-大数据之谷歌论文 MapReduce Simplified Data Processing on Large Clusters
  原文地址 摘要 MapReduce是一个用于处理和生成大型数据集的编程模型及其相关实现。 用户需要指定一个处理键/值对的映射函数，以生成一组中间键/值对，同时还需要指定一个减少函数，该函数合并与同一中间键相关联的所有中间值。正如本文所示，许多真实世界的任务可以在这个模型中表达。 采用这种函数式风格编写的程序会自动并行化，并在大规模的商用机器集群上执行。 运行时系统负责处理输入数据的...
  2017-12-11 21:47:35 | Big-Data
• Apache Hadoop-01-大数据之谷歌文件系统论文 GFS The Google File System
  原文地址 谷歌文件系统论文 摘要 我们设计并实现了Google文件系统，这是一个面向大规模分布式数据密集型应用的可扩展分布式文件系统。 它在廉价的通用硬件上运行，提供了容错性，并向大量客户端提供高聚合性能。 尽管与先前的分布式文件系统有许多相同的目标，但我们的设计是通过观察我们的应用工作负载和技术环境（包括当前和预期的环境）驱动的，这反映了对一些先前文件系统假设的明显偏离。...
  2017-12-11 21:47:35 | Big-Data
• Big data-00-chat 大数据闲聊
  chat google 论文的三驾马车是哪三个？分别介绍一下，给出网址 Google 论文的三驾马车指的是三篇经典的技术论文，它们为大规模分布式系统的设计和实现提供了重要的理论基础。 这三篇论文分别是： Google File System (GFS)： 论文标题： “The Google File System”（《Google文件系统》） ...
  2017-12-11 21:47:35 | Big-Data
• Spring IO platform
  Spring IO platform Spring IO is a cohesive, versioned platform for building modern applications. It is a modular, enterprise-grade distribution that delivers a curated set of dependencies while k...
  2017-12-11 13:35:03 | Spring
• Apache Hadoop v3.3.6-23-Hadoop Service Registry
  Hadoop服务注册表 服务注册表是可以部署在Hadoop集群中的一项服务，允许部署的应用程序注册自身及其与其通信的方式。 客户端应用程序可以定位服务并使用绑定信息连接到服务的网络可访问端点，无论是REST、IPC、Web UI、Zookeeper quorum+path还是其他协议。目前，所有注册表数据都存储在一个Zookeeper集群中。 Architecture Configur...
  2017-12-05 21:47:35 | Apache
• Apache Hadoop v3.3.6-22-Unix Shell Guide
  重要的终端用户环境变量 Apache Hadoop有许多环境变量，用于控制软件的各个方面（请参阅hadoop-env.sh和相关文件）。其中一些环境变量专用于帮助终端用户管理其运行时。 HADOOP_CLIENT_OPTS 此环境变量用于所有终端用户非守护进程操作。它可用于设置任何Java选项以及通过系统属性定义任何Apache Hadoop选项。例如： HADOOP_CLIENT_...
  2017-12-05 21:47:35 | Apache