个人简介

Echo Blog


江湖无名 安心练剑
  • Apache Hadoop v3.3.6-14-Proxy user - Superusers Acting On Behalf Of Other Users
    介绍 本文档描述了超级用户如何代表另一个用户提交作业或访问HDFS。 用例 下一节中描述的代码示例适用于以下用例。 一个名为’super’的超级用户想要代表用户joe提交作业并访问hdfs。超级用户具有Kerberos凭据,但用户joe没有。 任务需要以用户joe的身份运行,并且需要在Namenode上以用户joe的身份执行任何文件访问。 需要用户joe能够连接到使用超级Kerb...
    2017-12-05 21:47:35 | Apache
  • Apache Hadoop v3.3.6-13-Native Libraries Guide
    Native Hadoop库概览 本指南描述了Hadoop的本机库,并对本机共享库进行了简要讨论。 注意:根据您的环境,“本机库”一词可能指您需要编译的所有.so文件;而“本机压缩”一词可能指您需要编译的所有与压缩有关的.so文件。然而,当前,本文档仅涉及本机Hadoop库(libhadoop.so)。libhdfs库(libhdfs.so)的文档在这里。 本机Hadoop库 由于性...
    2017-12-05 21:47:35 | Apache
  • Apache Hadoop v3.3.6-12-Fair Call Queue Guide
    目的 本文档描述如何配置和管理Hadoop的公平调用队列。 先决条件 确保Hadoop已经安装、配置并正确设置。有关更多信息,请参阅: 首次用户的单节点设置。 大型分布式集群的集群设置。 概览 Hadoop服务器组件,特别是HDFS NameNode,经历来自客户端的非常大的RPC负载。 默认情况下,所有客户端请求都通过先进先出队列进行路由,并按照到达的顺序提供服务...
    2017-12-05 21:47:35 | Apache
  • Apache Hadoop v3.3.6-11-Hadoop CLI MiniCluster.
    目的 通过使用CLI MiniCluster,用户可以通过单个命令启动和停止单节点Hadoop集群,而无需设置任何环境变量或管理配置文件。 CLI MiniCluster启动了YARN/MapReduce和HDFS集群。 这对于用户希望快速尝试真正的Hadoop集群或测试依赖于大量Hadoop功能的非Java程序的情况非常有用。 Hadoop Tarball 您应该能够从发行版中获...
    2017-12-05 21:47:35 | Apache
  • Apache Hadoop v3.3.6-10-The Hadoop FileSystem API Definition
    Hadoop文件系统API定义 这是Hadoop文件系统API的规范,它将文件系统的内容建模为一组路径,这些路径可以是目录、符号链接或文件。 在这个领域,惊人地缺乏先前的艺术成果。有多个关于Unix文件系统的inode树的规范,但没有公开定义“Unix文件系统作为数据存储访问的概念模型”的内容。 这个规范试图做到这一点;定义Hadoop文件系统的模型和API,以便多个文件系统可以实现这...
    2017-12-05 21:47:35 | Apache
  • Apache Hadoop v3.3.6-09-Hadoop Interface Taxonomy Audience and Stability Classification
    动机 此处提供的接口分类用于指导接口的开发人员和用户。该分类指导开发人员声明接口的目标受众或用户以及其稳定性。 对接口用户的好处:了解使用或不使用哪些接口以及它们的稳定性。 对开发人员的好处:防止意外更改接口,从而意外地影响用户、其他组件或系统。这在具有许多开发人员的大型系统中特别有用,这些开发人员可能没有项目的共享状态/历史记录。 接口分类 Hadoop采用以下接口分类,这个分类...
    2017-12-05 21:47:35 | Apache
  • Apache Hadoop v3.3.6-08-Apache Hadoop Compatibility for admin 管理员兼容性
    目的 本文档的目的是将Hadoop兼容性指南的信息提炼为对系统管理员相关的信息。 目标受众 目标受众是负责维护Apache Hadoop集群并必须计划和执行集群升级的管理员。 Hadoop版本 Hadoop开发社区定期发布新的Hadoop版本,引入新功能并修复现有问题。发布分为三类: 主要版本:主要版本通常包含重要的新功能,并且通常代表着最大的升级兼容性风险。主要版本增加发...
    2017-12-05 21:47:35 | Apache
  • Apache Hadoop v3.3.6-07-Apache Hadoop Downstream Developer’s Guide 为下游开发人员提供清晰的参考
    目的 本文档的目的是为下游开发人员提供清晰的参考,以了解构建应用程序时可以对Hadoop源代码有哪些期望。 该文档主要是对Hadoop兼容性准则的概括,因此侧重于不同Hadoop接口在不同版本之间的兼容性保证。 目标受众 本文档的目标受众是任何正在开发与Apache Hadoop相关的项目或应用程序的开发人员,无论依赖于源代码本身,构建产物,还是与运行中的系统进行交互。 Hadoo...
    2017-12-05 21:47:35 | Apache