详细介绍一下 Apache Hadoop

Apache Hadoop是一个开源的分布式存储和计算框架，旨在处理大规模数据集。

它提供了一种可靠、可扩展、分布式计算的解决方案，使用户能够有效地存储和处理大量数据，无论数据是结构化、半结构化还是非结构化的。

以下是Apache Hadoop的一些关键特点和组件：

1. Hadoop分布式文件系统（HDFS）： Hadoop的核心组件之一，它是一个分布式文件系统，设计用于存储大规模数据，并能够提供高吞吐量的访问。HDFS通过将数据分布在多个节点上，实现了数据的冗余备份，提高了数据的可靠性。

2. Hadoop YARN（Yet Another Resource Negotiator）： 作为Hadoop的资源管理器，YARN负责集群资源的管理和作业调度。它允许多个应用程序共享集群资源，使Hadoop集群更加灵活和多任务。

3. Hadoop MapReduce： 一个基于YARN的编程模型，用于在Hadoop集群上并行处理大规模数据集。MapReduce模型将计算分成Map（映射）和Reduce（归约）两个阶段，便于处理和分析大规模数据。

4. Hadoop Common： 包含支持其他Hadoop模块的通用工具和库。这些工具提供了Hadoop框架所需的基本功能。

配置文件 core-site.xml

    
    
        fs.defaultFS
        hdfs://127.0.0.1:9820
    
    
    
        hadoop.tmp.dir
        /home/houbinbin/hadoop/dfs/temp
    
    
    
        hadoop.http.staticuser.user
        root

https://cwiki.apache.org/confluence/display/HADOOP/Hadoop+Java+Versions

Supported Java Versions

Apache Hadoop 3.3 and upper supports Java 8 and Java 11 (runtime only)
Please compile Hadoop with Java 8. Compiling Hadoop with Java 11 is not supported: HADOOP-16795 - Java 11 compile support OPEN
Apache Hadoop from 3.0.x to 3.2.x now supports only Java 8
Apache Hadoop from 2.7.x to 2.10.x support both Java 7 and 8

https://cwiki.apache.org/confluence/display/HADOOP/Hadoop+Java+Versions

Supported Java Versions

Apache Hadoop 3.3 and upper supports Java 8 and Java 11 (runtime only)
Please compile Hadoop with Java 8. Compiling Hadoop with Java 11 is not supported: HADOOP-16795 - Java 11 compile support OPEN
Apache Hadoop from 3.0.x to 3.2.x now supports only Java 8
Apache Hadoop from 2.7.x to 2.10.x support both Java 7 and 8

Apache Hadoop 3.3.6 是 Hadoop 3.3.x 发布分支的更新。

变更概览

鼓励用户阅读完整的发布说明。本页面提供主要变更的概览。

SBOM 构件

从这个版本开始，Hadoop 使用 CycloneDX Maven 插件发布软件清单 (SBOM)。有关 SBOM 的更多信息，请参阅 SBOM。

HDFS RBF：基于 RDBMS 的令牌存储支持

HDFS 路由器 - 基于路由器的联邦现在支持将委托令牌存储在 MySQL 上，改进了原始基于 Zookeeper 的实现的令牌操作吞吐量，详见 HADOOP-18535。

本文档描述了如何设置和配置单节点 Hadoop 安装，以便您可以快速执行使用 Hadoop MapReduce 和 Hadoop 分布式文件系统（HDFS）进行简单操作。

重要提示：所有生产环境中的 Hadoop 集群都使用 Kerberos 对呼叫方进行身份验证，并安全地访问 HDFS 数据，以及限制对计算服务（YARN 等）的访问。

这些说明不涵盖与任何 Kerberos 服务的集成，-每个启动生产集群的人都应该将连接到他们组织的 Kerberos 基础设施作为部署的关键部分。

有关如何保护集群的详细信息，请参阅安全性。

先决条件

本文档描述了如何安装和配置Hadoop集群，从包含几个节点的小集群到包含数千个节点的极大集群。为了体验Hadoop，您可能首先想在单台机器上安装它（请参见单节点设置）。

本文档不涵盖高级主题，如高可用性。

重要提示：所有生产Hadoop集群都使用Kerberos对调用者进行身份验证，并安全访问HDFS数据，以及限制对计算服务（YARN等）的访问。

这些说明不涵盖与任何Kerberos服务的集成，每个启动生产集群的人都应将连接到其组织的Kerberos基础设施作为部署的关键部分。

请参阅安全性以获取有关如何保护集群的详细信息。

Overview
Shell Options
Generic Options
User Commands
archive
checknative
classpath
conftest
credential
distch
distcp
dtutil
fs
gridmix
jar
jnipath
kerbname
kdiag
key
kms
trace
version
CLASSNAME
envvars
Administration Commands
daemonlog
Files
etc/hadoop/hadoop-env.sh
etc/hadoop/hadoop-user-functions.sh
~/.hadooprc

appendToFile
cat
checksum
chgrp
chmod
chown
copyFromLocal
copyToLocal
count
cp
createSnapshot
deleteSnapshot
df
du
dus
expunge
find
get
getfacl
getfattr
getmerge
head
help
ls
lsr
mkdir
moveFromLocal
moveToLocal
mv
put
renameSnapshot
rm
rmdir
rmr
setfacl
setfattr
setrep
stat
tail
test
text
touch
touchz
truncate
concat
usage
Deleting objects
Overwriting Objects
Timestamps
Security model and operations
Commands of limited value

本文档记录了Apache Hadoop项目的兼容性目标。

列举了不同类型的Hadoop版本之间影响Hadoop开发人员、下游项目和最终用户的兼容性。对于每种类型的兼容性，本文档将：

• 描述对下游项目或最终用户的影响
• 在适用的情况下，指出Hadoop开发人员在允许不兼容更改时采用的策略。

所有Hadoop接口都根据预期受众和稳定性进行分类，以保持与之前版本的兼容性。有关分类的详细信息，请参阅Hadoop Interface Taxonomy。

目标受众