hadoop设置文件

2. (base) xiaokkk@xiaokkkdeMacBook-Pro homebrew % hadoop version
3. Hadoop 3.4.0
4. Source code repository [email protected]:apache/hadoop.git -r bd8b77f398f626bb7791783192ee7a5dfaeec760
5. Compiled by root on 2024-03-04T06:35Z
6. Compiled on platform linux-x86_64
7. Compiled with protoc 3.21.12
8. From source with checksum f7fe694a3613358b38812ae9c31114e
9. This command was run using /opt/homebrew/Cellar/hadoop/3.4.0/libexec/share/hadoop/common/hadoop-common-3.4.0.jar

复制代码

设置文件路径：/opt/homebrew/Cellar/hadoop/3.4.0/libexec/etc/hadoop
Hadoop 的设置文件用于设置 Hadoop 集群的各个方面，包罗 HDFS (Hadoop Distributed File System)、YARN (Yet Another Resource Negotiator) 和 MapReduce。下面是 Hadoop 中常用的设置文件及其作用：

2. (base) xiaokkk@xiaokkkdeMacBook-Pro hadoop % cat core-site.xml
3. <configuration>
4.     <property>
5.         <name>hadoop.tmp.dir</name>
6.         <value>/Users/xiaokkk/Hadoop/hdfs/tmp/</value>
7.     </property>
8.     <property>
9.         <name>fs.default.name</name>
10.         <value>hdfs://127.0.0.1:9000</value>
11.     </property>
12. </configuration>
14. (base) xiaokkk@xiaokkkdeMacBook-Pro hadoop % cat hdfs-site.xml
15. <configuration>
16.   <property>
17.       <name>dfs.data.dir</name>
18.       <value>/Users/xiaokkk/Hadoop/hdfs/namenode/</value>
19.   </property>
20.   <property>
21.       <name>dfs.data.dir</name>
22.       <value>/Users/xiaokkk/Hadoop/hdfs/datanode/</value>
23.   </property>
24.   <property>
25.       <name>dfs.replication</name>
26.       <value>1</value>
27.   </property>
28.   <property>
29.   <name>dfs.namenode.http-address</name>
30.   <value>127.0.0.1:50070</value>
31.   </property>
32. </configuration>
34. (base) xiaokkk@xiaokkkdeMacBook-Pro hadoop % cat yarn-site.xml
35. <configuration>
36.   <property>
37.     <name>yarn.nodemanager.aux-services</name>
38.     <value>mapreduce_shuffle</value>
39.   </property>
40.   <property>
41.     <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
42.     <value>org.apache.hadoop.mapred.ShuffleHandler</value>
43.   </property>
44.   <property>
45.     <name>yarn.resourcemanager.hostname</name>
46.     <value>127.0.0.1</value>
47.   </property>
48.   <property>
49.     <name>yarn.acl.enable</name>
50.     <value>0</value>
51.   </property>
52.   <property>
53.     <name>yarn.nodemanager.env-whitelist</name>
54.     <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PERPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
55.   </property>
56. </configuration>

复制代码

Hadoop 设置文件

•         core-site.xml
  
  
  
  • 作用:
    
    
    
    • 设置 Hadoop 的核心体系设置，如 HDFS 和 Hadoop 客户端的根本设置。
      
    • 包罗 HDFS 名称节点（NameNode）的地点、暂时目次、文件体系默认 URI 等。
      
    
    
  • 示例设置项:
    
    
    
    • fs.defaultFS: 设置 Hadoop 文件体系的默认 URI。
      
    • hadoop.tmp.dir: 设置 Hadoop 的暂时目次。
      
    
    
  
  
•         hdfs-site.xml
  
  
  
  • 作用:
    
    
    
    • 设置 HDFS 的具体参数，如副本的数量、块巨细、数据节点的存活时间等。
      
    
    
  • 示例设置项:
    
    
    
    • dfs.replication: 设置文件块的默认副本数。
      
    • dfs.blocksize: 设置 HDFS 中文件块的默认巨细。
      
    • dfs.namenode.name.dir: 设置 NameNode 的存储目次。
      
    
    
  
  
•         yarn-site.xml
  
  
  
  • 作用:
    
    
    
    • 设置 YARN 的资源管理器、节点管理器和其他组件的设置。
      
    
    
  • 示例设置项:
    
    
    
    • yarn.resourcemanager.address: 设置 ResourceManager 的地点。
      
    • yarn.resourcemanager.scheduler.address: 设置 ResourceManager 的调治器地点。
      
    • yarn.nodemanager.aux-services: 设置 NodeManager 的辅助服务。
      
    
    
  
  
•         mapred-site.xml
  
  
  
  • 作用:
    
    
    
    • 设置 MapReduce 的作业提交、使命跟踪等参数。
      
    
    
  • 示例设置项:
    
    
    
    • mapreduce.framework.name: 设置 MapReduce 框架的名称。
      
    • mapreduce.jobhistory.address: 设置 MapReduce JobHistory Server 的地点。
      
    • mapreduce.jobhistory.webapp.address: 设置 JobHistory Server 的 Web UI 地点。
      
    
    
  
  
•         hadoop-env.sh
  
  
  
  • 作用:
    
    
    
    • 设置 Hadoop 运行所需的情况变量，如 Java 的路径、日志文件位置等。
      
    
    
  • 示例设置项:
    
    
    
    • export JAVA_HOME: 设置 Java 的安装路径。
      
    • export HADOOP_LOG_DIR: 设置 Hadoop 日志文件的目次。
      
    
    
  
  
•         yarn-env.sh
  
  
  
  • 作用:
    
    
    
    • 设置 YARN 运行所需的情况变量。
      
    
    
  • 示例设置项:
    
    
    
    • export JAVA_HOME: 设置 Java 的安装路径。
      
    • export YARN_LOG_DIR: 设置 YARN 日志文件的目次。
      
    
    
  
  
•         mapred-env.sh
  
  
  
  • 作用:
    
    
    
    • 设置 MapReduce 运行所需的情况变量。
      
    
    
  • 示例设置项:
    
    
    
    • export JAVA_HOME: 设置 Java 的安装路径。
      
    • export MAPREDUCE_LOG_DIR: 设置 MapReduce 日志文件的目次。
      
    
    
  
  
•         hdfs-log4j.properties 和 yarn-log4j.properties
  
  
  
  • 作用:
    
    
    
    • 设置 HDFS 和 YARN 的日志记载级别和输特殊式。
      
    
    
  
  

其他设置文件

除了上述核心设置文件之外，另有一些其他的设置文件，用于特定目的或特定组件的设置：

•         capacity-scheduler.xml
  
  
  
  • 作用:
    
    
    
    • 设置 YARN 的 Capacity Scheduler。
      
    
    
  
  
•         fair-scheduler.xml
  
  
  
  • 作用:
    
    
    
    • 设置 YARN 的 Fair Scheduler。
      
    
    
  
  
•         ssl-client.xml, ssl-server.xml
  
  
  
  • 作用:
    
    
    
    • 设置 SSL/TLS 安全协议的干系设置。
      
    
    
  
  
•         hadoop-metrics2.properties
  
  
  
  • 作用:
    
    
    
    • 设置 Hadoop 的 Metrics2 监控体系。
      
    
    
  
  
•         hadoop-policy.xml
  
  
  
  • 作用:
    
    
    
    • 设置 Hadoop 的安全战略，如 Kerberos 认证。
      
    
    
  
  

设置文件的位置

Hadoop 的设置文件通常位于 $HADOOP_HOME/etc/hadoop 目次下。$HADOOP_HOME 是指向 Hadoop 安装目次的情况变量。
总结

Hadoop 的设置文件对于精确设置和运行 Hadoop 集群至关告急。它们界说了集群的各个方面，包罗文件体系的设置、资源管理器的设置、MapReduce 的设置等。确保这些文件精确设置对于集群的稳固运行非常告急。假如你须要进一步的资助或有关于具体设置的标题，请随时提问！