怎样搭建spark yarn模式的集群

搭建 Spark on YARN 模式的集群必要完成 Hadoop 和 Spark 的安装与设置，并确保它们能够协同工作。以下是详细的搭建步骤和代码示例：
 1 体系准备

•         操纵体系：保举利用 CentOS 或 Ubuntu。
  
•         Java 环境：安装 JDK 1.8 或更高版本
  
  2. sudo apt update
  3. sudo apt install openjdk-8-jdk

  复制代码
  Scala 环境（可选，视需求而定）：
  
• 2. sudo apt install scala

  复制代码
  2 安装 Hadoop
  
•         下载并解压 Hadoop：
  
  2. wget https://downloads.apache.org/hadoop/common/hadoop-3.3.4/hadoop-3.3.4.tar.gz
  3. tar -xzvf hadoop-3.3.4.tar.gz -C /opt/
  4. mv /opt/hadoop-3.3.4 /opt/hadoop

  复制代码
  设置 Hadoop：
  
•         hadoop-env.sh：设置 Java 环境变量
  
• 2. vim /opt/hadoop/etc/hadoop/hadoop-env.sh
  3. export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64

  复制代码
  core-site.xml：设置 HDFS
  
• 2. <configuration>
  3.   <property>
  4.     <name>fs.defaultFS</name>
  5.     <value>hdfs://master:9000</value>
  6.   </property>
  7. </configuration>

  复制代码
  hdfs-site.xml：设置 HDFS 的存储位置
  
• 2. <configuration>
  3.   <property>
  4.     <name>dfs.replication</name>
  5.     <value>3</value>
  6.   </property>
  7. </configuration>

  复制代码
  yarn-site.xml：设置 YARN
  
• 2. <configuration>
  3.   <property>
  4.     <name>yarn.nodemanager.pmem-check-enabled</name>
  5.     <value>false</value>
  6.   </property>
  7.   <property>
  8.     <name>yarn.nodemanager.vmem-check-enabled</name>
  9.     <value>false</value>
  10.   </property>
  11.   <property>
  12.     <name>yarn.resourcemanager.hostname</name>
  13.     <value>master</value>
  14.   </property>
  15. </configuration>

  复制代码
  slaves：添加从节点主机名
  
• 2. vim /opt/hadoop/etc/hadoop/slaves
  3. slave1
  4. slave2

  复制代码
  启动 Hadoop
  
  2. /opt/hadoop/bin/hdfs namenode -format
  3. /opt/hadoop/sbin/start-dfs.sh
  4. /opt/hadoop/sbin/start-yarn.sh

  复制代码
  3. 安装 Spark
  
•         下载并解压 Spark：
  
• 2. wget https://downloads.apache.org/spark/spark-3.2.4/spark-3.2.4-bin-hadoop3.2.tgz
  3. tar -xzvf spark-3.2.4-bin-hadoop3.2.tgz -C /opt/
  4. mv /opt/spark-3.2.4-bin-hadoop3.2 /opt/spark

  复制代码
  设置 Spark：
  
•         spark-env.sh：设置环境变量
  
  2. cp /opt/spark/conf/spark-env.sh.template /opt/spark/conf/spark-env.sh
  3. vim /opt/spark/conf/spark-env.sh
  4. export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
  5. export HADOOP_CONF_DIR=/opt/hadoop/etc/hadoop
  6. export YARN_CONF_DIR=/opt/hadoop/etc/hadoop

  复制代码
  spark-defaults.conf：启用变乱日志
  
• 2. cp /opt/spark/conf/spark-defaults.conf.template /opt/spark/conf/spark-defaults.conf
  3. vim /opt/spark/conf/spark-defaults.conf
  4. spark.eventLog.enabled true
  5. spark.eventLog.dir hdfs://master:9000/spark/eventLogs
  6. spark.yarn.historyServer.address master:18080

  复制代码
  slaves：添加从节点主机名
  
• 2. cp /opt/spark/conf/slaves.template /opt/spark/conf/slaves
  3. vim /opt/spark/conf/slaves
  4. slave1
  5. slave2

  复制代码
  分发设置文件： 将主节点的 Spark 设置文件分发到全部从节点。
  
• 2. scp -r /opt/spark/conf/spark-env.sh root@slave1:/opt/spark/conf/
  3. scp -r /opt/spark/conf/spark-env.sh root@slave2:/opt/spark/conf/

  复制代码
  启动 Spark
  
•         在主节点启动 Spark Shell。
  
• 2. spark-shell --master yarn --deploy-mode client

  复制代码
   测试集群
  
•         提交一个示例作业
  
• 2. spark-submit --master yarn --deploy-mode cluster examples/src/main/python/pi.py 1000

  复制代码
   验证集群
  
•         访问 YARN 的 Web UI 页面（http://master:8088），查察应用的运行环境。