• Apache Hadoop-02-大数据之谷歌论文 MapReduce Simplified Data Processing on Large Clusters
  原文地址 摘要 MapReduce是一个用于处理和生成大型数据集的编程模型及其相关实现。 用户需要指定一个处理键/值对的映射函数，以生成一组中间键/值对，同时还需要指定一个减少函数，该函数合并与同一中间键相关联的所有中间值。正如本文所示，许多真实世界的任务可以在这个模型中表达。 采用这种函数式风格编写的程序会自动并行化，并在大规模的商用机器集群上执行。 运行时系统负责处理输入数据的...
  2017-12-11 21:47:35 | Big-Data
• Apache Hadoop-01-大数据之谷歌文件系统论文 GFS The Google File System
  原文地址 谷歌文件系统论文 摘要 我们设计并实现了Google文件系统，这是一个面向大规模分布式数据密集型应用的可扩展分布式文件系统。 它在廉价的通用硬件上运行，提供了容错性，并向大量客户端提供高聚合性能。 尽管与先前的分布式文件系统有许多相同的目标，但我们的设计是通过观察我们的应用工作负载和技术环境（包括当前和预期的环境）驱动的，这反映了对一些先前文件系统假设的明显偏离。...
  2017-12-11 21:47:35 | Big-Data
• Big data-00-chat 大数据闲聊
  chat google 论文的三驾马车是哪三个？分别介绍一下，给出网址 Google 论文的三驾马车指的是三篇经典的技术论文，它们为大规模分布式系统的设计和实现提供了重要的理论基础。 这三篇论文分别是： Google File System (GFS)： 论文标题： “The Google File System”（《Google文件系统》） ...
  2017-12-11 21:47:35 | Big-Data
• Spring IO platform
  Spring IO platform Spring IO is a cohesive, versioned platform for building modern applications. It is a modular, enterprise-grade distribution that delivers a curated set of dependencies while k...
  2017-12-11 13:35:03 | Spring
• Apache Hadoop v3.3.6-23-Hadoop Service Registry
  Hadoop服务注册表 服务注册表是可以部署在Hadoop集群中的一项服务，允许部署的应用程序注册自身及其与其通信的方式。 客户端应用程序可以定位服务并使用绑定信息连接到服务的网络可访问端点，无论是REST、IPC、Web UI、Zookeeper quorum+path还是其他协议。目前，所有注册表数据都存储在一个Zookeeper集群中。 Architecture Configur...
  2017-12-05 21:47:35 | Apache
• Apache Hadoop v3.3.6-22-Unix Shell Guide
  重要的终端用户环境变量 Apache Hadoop有许多环境变量，用于控制软件的各个方面（请参阅hadoop-env.sh和相关文件）。其中一些环境变量专用于帮助终端用户管理其运行时。 HADOOP_CLIENT_OPTS 此环境变量用于所有终端用户非守护进程操作。它可用于设置任何Java选项以及通过系统属性定义任何Apache Hadoop选项。例如： HADOOP_CLIENT_...
  2017-12-05 21:47:35 | Apache
• Apache Hadoop v3.3.6-21-Enabling Dapper-like Tracing in Hadoop
  Hadoop中的Dapper风格跟踪 HTrace HDFS-5274在HDFS中增加了对请求进行跟踪的支持，使用了开源跟踪库Apache HTrace。设置跟踪相当简单，但需要对客户端代码进行一些非常小的更改。 SpanReceivers 跟踪系统通过收集名为”Spans”的结构中的信息来工作。您可以通过使用HTrace捆绑的SpanReceiver接口的实现或自行实现该接口来选择如何...
  2017-12-05 21:47:35 | Apache
• Apache Hadoop v3.3.6-20-KMS
  Hadoop KMS 概述 Hadoop KMS 是基于 Hadoop 的 KeyProvider API 的加密密钥管理服务器。 它提供了客户端和服务器组件，它们通过使用 REST API 进行 HTTP 通信。 客户端是一个 KeyProvider 实现，通过使用 KMS HTTP REST API 与 KMS 交互。 KMS 及其客户端具有内置的安全性，并支持 HTTP SPN...
  2017-12-05 21:47:35 | Apache