个人简介

Echo Blog


江湖无名 安心练剑
  • Apache Hadoop v3.3.6-03-Hadoop Cluster Setup 集群部署模式
    目的 本文档描述了如何安装和配置Hadoop集群,从包含几个节点的小集群到包含数千个节点的极大集群。为了体验Hadoop,您可能首先想在单台机器上安装它(请参见单节点设置)。 本文档不涵盖高级主题,如高可用性。 重要提示:所有生产Hadoop集群都使用Kerberos对调用者进行身份验证,并安全访问HDFS数据,以及限制对计算服务(YARN等)的访问。 这些说明不涵盖与任何Kerbe...
    2017-12-05 21:47:35 | Apache
  • Apache Hadoop v3.3.6-02-Hadoop setting up a Single Node Cluster.
    目的 本文档描述了如何设置和配置单节点 Hadoop 安装,以便您可以快速执行使用 Hadoop MapReduce 和 Hadoop 分布式文件系统(HDFS)进行简单操作。 重要提示:所有生产环境中的 Hadoop 集群都使用 Kerberos 对呼叫方进行身份验证,并安全地访问 HDFS 数据,以及限制对计算服务(YARN 等)的访问。 这些说明不涵盖与任何 Kerberos 服...
    2017-12-05 21:47:35 | Apache
  • Apache Hadoop v3.3.6-01-overview
    Apache Hadoop 3.3.6 Apache Hadoop 3.3.6 是 Hadoop 3.3.x 发布分支的更新。 变更概览 鼓励用户阅读完整的发布说明。本页面提供主要变更的概览。 SBOM 构件 从这个版本开始,Hadoop 使用 CycloneDX Maven 插件发布软件清单 (SBOM)。有关 SBOM 的更多信息,请参阅 SBOM。 HDFS RBF:基于 ...
    2017-12-05 21:47:35 | Apache
  • Apache Hadoop v3.3.6 in action-02-cluster mode 集群部署实战
    hadoop 版本 https://cwiki.apache.org/confluence/display/HADOOP/Hadoop+Java+Versions Supported Java Versions Apache Hadoop 3.3 and upper supports Java 8 and Java 11 (runtime only) Please compil...
    2017-12-05 21:47:35 | Apache
  • Apache Hadoop v3.3.6 in action-01-single mode 单机部署实战 windows10 wsl
    hadoop 版本 https://cwiki.apache.org/confluence/display/HADOOP/Hadoop+Java+Versions Supported Java Versions Apache Hadoop 3.3 and upper supports Java 8 and Java 11 (runtime only) Please compil...
    2017-12-05 21:47:35 | Apache
  • Apache Hadoop v3.3.6 in action-01-HDFS 部署完成后 java 程序如何访问验证
    单机版本配置 配置文件 core-site.xml <?xml version="1.0" encoding="UTF-8"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration> <!-- 指定NameNode的地址,端口一般有8020、...
    2017-12-05 21:47:35 | Apache
  • Apache Hadoop-05-Yarn Yet Another Resource Negotiator 资源管理器,YARN负责集群资源的管理和作业调度。
    Yarn chat 详细介绍一下 hadoop yarn Hadoop YARN(Yet Another Resource Negotiator)是Apache Hadoop项目的一个关键组件,用于分布式数据处理。 YARN的设计目标是提供一个通用的资源管理框架,使得Hadoop可以运行各种不同类型的应用程序,而不仅仅是MapReduce。 YARN的引入使得Hadoop集群更加灵...
    2017-12-04 21:47:35 | Apache
  • Apache Hadoop-04-MapReduce 分布式计算的处理技术和程序模型
    MapReduce MapReduce 是一个框架,我们可以使用它来编写应用程序,以可靠的方式并行地处理大量商品硬件群集上的大量数据。 什么是MapReduce? MapReduce是一种基于 java 的分布式计算的处理技术和程序模型。 MapReduce算法包含两个重要任务,即Map和Reduce。 Map采用一组数据并将其转换为另一组数据,其中各个元素被分解为元组(键/值对)...
    2017-12-04 21:47:35 | Apache