-
Apache Hadoop v3.3.6-19-CredentialProvider API Guide
Overview
CredentialProvider API是用于插入可扩展凭证提供程序的SPI框架。
凭证提供程序用于将敏感令牌、密钥和密码的使用与其存储和管理的详细信息分离开来。选择各种存储机制来保护这些凭证的能力使我们能够将这些敏感资产保存为密文,远离窥探的目光,可能由第三方解决方案进行管理。
此文档旨在描述CredentialProvider API的设计、开箱即用的实现以及...
2017-12-05 21:47:35 |
Apache
-
Apache Hadoop v3.3.6-18-Authentication for Hadoop HTTP web-consoles
引言
本文档描述了如何配置 Hadoop HTTP web 控制台以要求用户身份验证。
默认情况下,Hadoop HTTP web 控制台(ResourceManager、NameNode、NodeManagers 和 DataNodes)允许无需任何形式的身份验证即可访问。
Hadoop HTTP web 控制台可以配置为要求使用 HTTP SPNEGO 协议(由 Firefox 和...
2017-12-05 21:47:35 |
Apache
-
Apache Hadoop v3.3.6-17-Service Level Authorization Guide
目的
本文档描述如何为Hadoop配置和管理服务级别授权。
先决条件
确保已正确安装、配置和设置Hadoop。
有关更多信息,请参见:
首次用户的单节点设置
大型分布式集群的集群设置
概述
服务级别授权是初始授权机制,用于确保连接到特定Hadoop服务的客户端具有必要的、预配置的权限,并被授权访问给定的服务。
例如,MapReduce集群可以使用此机制允许配置的用...
2017-12-05 21:47:35 |
Apache
-
Apache Hadoop v3.3.6-16-Hadoop in Secure Mode
Introduction
在默认配置中,我们期望您确保攻击者无法通过限制所有网络访问来访问您的Hadoop集群。
如果您希望对可以远程访问数据或提交作业的用户进行任何限制,您必须按照本文档中描述的方式保护Hadoop集群的身份验证和访问。
当Hadoop配置为在安全模式下运行时,每个Hadoop服务和每个用户都必须通过Kerberos进行身份验证。
必须正确配置所有服务主机的正向和反...
2017-12-05 21:47:35 |
Apache
-
Apache Hadoop v3.3.6-15-Rack Awareness
Rack Awareness
当Hadoop组件具有机架感知功能时,例如HDFS块放置将使用机架感知来实现容错,通过在不同机架上放置一个块副本来提高数据的可用性,以应对集群中的网络交换机故障或分区。
Hadoop主节点通过调用配置文件指定的外部脚本或Java类来获取集群工作节点的机架ID。
无论是使用Java类还是外部脚本进行拓扑映射,输出必须符合Java的org.apache.had...
2017-12-05 21:47:35 |
Apache
-
Apache Hadoop v3.3.6-14-Proxy user - Superusers Acting On Behalf Of Other Users
介绍
本文档描述了超级用户如何代表另一个用户提交作业或访问HDFS。
用例
下一节中描述的代码示例适用于以下用例。
一个名为’super’的超级用户想要代表用户joe提交作业并访问hdfs。超级用户具有Kerberos凭据,但用户joe没有。
任务需要以用户joe的身份运行,并且需要在Namenode上以用户joe的身份执行任何文件访问。
需要用户joe能够连接到使用超级Kerb...
2017-12-05 21:47:35 |
Apache
-
Apache Hadoop v3.3.6-13-Native Libraries Guide
Native Hadoop库概览
本指南描述了Hadoop的本机库,并对本机共享库进行了简要讨论。
注意:根据您的环境,“本机库”一词可能指您需要编译的所有.so文件;而“本机压缩”一词可能指您需要编译的所有与压缩有关的.so文件。然而,当前,本文档仅涉及本机Hadoop库(libhadoop.so)。libhdfs库(libhdfs.so)的文档在这里。
本机Hadoop库
由于性...
2017-12-05 21:47:35 |
Apache
-
Apache Hadoop v3.3.6-12-Fair Call Queue Guide
目的
本文档描述如何配置和管理Hadoop的公平调用队列。
先决条件
确保Hadoop已经安装、配置并正确设置。有关更多信息,请参阅:
首次用户的单节点设置。
大型分布式集群的集群设置。
概览
Hadoop服务器组件,特别是HDFS NameNode,经历来自客户端的非常大的RPC负载。
默认情况下,所有客户端请求都通过先进先出队列进行路由,并按照到达的顺序提供服务...
2017-12-05 21:47:35 |
Apache