个人简介

Echo Blog


江湖无名 安心练剑
  • Apache Hadoop v3.3.6-22-Unix Shell Guide
    重要的终端用户环境变量 Apache Hadoop有许多环境变量,用于控制软件的各个方面(请参阅hadoop-env.sh和相关文件)。其中一些环境变量专用于帮助终端用户管理其运行时。 HADOOP_CLIENT_OPTS 此环境变量用于所有终端用户非守护进程操作。它可用于设置任何Java选项以及通过系统属性定义任何Apache Hadoop选项。例如: HADOOP_CLIENT_...
    2017-12-05 21:47:35 | Apache
  • Apache Hadoop v3.3.6-21-Enabling Dapper-like Tracing in Hadoop
    Hadoop中的Dapper风格跟踪 HTrace HDFS-5274在HDFS中增加了对请求进行跟踪的支持,使用了开源跟踪库Apache HTrace。设置跟踪相当简单,但需要对客户端代码进行一些非常小的更改。 SpanReceivers 跟踪系统通过收集名为”Spans”的结构中的信息来工作。您可以通过使用HTrace捆绑的SpanReceiver接口的实现或自行实现该接口来选择如何...
    2017-12-05 21:47:35 | Apache
  • Apache Hadoop v3.3.6-20-KMS
    Hadoop KMS 概述 Hadoop KMS 是基于 Hadoop 的 KeyProvider API 的加密密钥管理服务器。 它提供了客户端和服务器组件,它们通过使用 REST API 进行 HTTP 通信。 客户端是一个 KeyProvider 实现,通过使用 KMS HTTP REST API 与 KMS 交互。 KMS 及其客户端具有内置的安全性,并支持 HTTP SPN...
    2017-12-05 21:47:35 | Apache
  • Apache Hadoop v3.3.6-19-CredentialProvider API Guide
    Overview CredentialProvider API是用于插入可扩展凭证提供程序的SPI框架。 凭证提供程序用于将敏感令牌、密钥和密码的使用与其存储和管理的详细信息分离开来。选择各种存储机制来保护这些凭证的能力使我们能够将这些敏感资产保存为密文,远离窥探的目光,可能由第三方解决方案进行管理。 此文档旨在描述CredentialProvider API的设计、开箱即用的实现以及...
    2017-12-05 21:47:35 | Apache
  • Apache Hadoop v3.3.6-18-Authentication for Hadoop HTTP web-consoles
    引言 本文档描述了如何配置 Hadoop HTTP web 控制台以要求用户身份验证。 默认情况下,Hadoop HTTP web 控制台(ResourceManager、NameNode、NodeManagers 和 DataNodes)允许无需任何形式的身份验证即可访问。 Hadoop HTTP web 控制台可以配置为要求使用 HTTP SPNEGO 协议(由 Firefox 和...
    2017-12-05 21:47:35 | Apache
  • Apache Hadoop v3.3.6-17-Service Level Authorization Guide
    目的 本文档描述如何为Hadoop配置和管理服务级别授权。 先决条件 确保已正确安装、配置和设置Hadoop。 有关更多信息,请参见: 首次用户的单节点设置 大型分布式集群的集群设置 概述 服务级别授权是初始授权机制,用于确保连接到特定Hadoop服务的客户端具有必要的、预配置的权限,并被授权访问给定的服务。 例如,MapReduce集群可以使用此机制允许配置的用...
    2017-12-05 21:47:35 | Apache
  • Apache Hadoop v3.3.6-16-Hadoop in Secure Mode
    Introduction 在默认配置中,我们期望您确保攻击者无法通过限制所有网络访问来访问您的Hadoop集群。 如果您希望对可以远程访问数据或提交作业的用户进行任何限制,您必须按照本文档中描述的方式保护Hadoop集群的身份验证和访问。 当Hadoop配置为在安全模式下运行时,每个Hadoop服务和每个用户都必须通过Kerberos进行身份验证。 必须正确配置所有服务主机的正向和反...
    2017-12-05 21:47:35 | Apache
  • Apache Hadoop v3.3.6-15-Rack Awareness
    Rack Awareness 当Hadoop组件具有机架感知功能时,例如HDFS块放置将使用机架感知来实现容错,通过在不同机架上放置一个块副本来提高数据的可用性,以应对集群中的网络交换机故障或分区。 Hadoop主节点通过调用配置文件指定的外部脚本或Java类来获取集群工作节点的机架ID。 无论是使用Java类还是外部脚本进行拓扑映射,输出必须符合Java的org.apache.had...
    2017-12-05 21:47:35 | Apache