如安在IDEA IDE 开辟环境中直接以 Yarn 方式提交Spark 代码到远端 Yarn集群运行

概要

一样寻常Spark 代码开辟提交方式的痛点：
（1）IDEA IDE 本机运行 ：
setMaster(local[]) :
痛点： 这种方式当地JVM中模拟方式，当地负载高，大概无法全面调试
( 2) spark-submit 下令方式：
setMaster(“yarn”) 或 setMaster("local[] ")
打包代码jar->上传到Hadoop主机->调 用 spark-submit
痛点：繁琐,每次都要copy到hadoop主机，并调用spark-submit
  有没有一步到位，直接在IDEA 中运行就可提交到Yarn上，效果输出到IDEA 中的方式呢？颠末研究我乐成了！ (网上对这种方法的先容，很难发现）
团体架构

技能细节

  

• 须要将spark和hadoop 中的jar，放到在当地IDEA开辟环境可以访问
  的hdfs文件体系中，包罗的jar来自于以下位置（不肯定全须要）
   %SPARK_HOME/jars
   %HADOOP_HOME/share/Hadoop
  上传到HDFS 中 hdfs:///usr/sparkjars/
    
  
• 须要代码中包罗以下关键个参数
  .setMaster(“yarn”) //设置YARN 集群运行方式
  .set(“yarn.resourcemanager.hostname”, “hadoop02”)// 设置resourcemanager的ip
  .set(“spark.driver.host”, “10.194.208.109”) // 设置IDEA IED 主机开辟端作为Driver端
  .set(“spark.yarn.jars”, “hdfs:///usr/sparkjars/*”) // 设置为yarn 运行spark须要的jar包，必须是yarn可访问位置hdfs
  // 设置步调打包后的jar包的路径,如果有其他的依赖包,可以在这里添加,逗号隔开
  .setJars(List(“target/Spark-demo-1.0-SNAPSHOT.jar”)) // 设置spark步调编译后打包文件相对位置
    
  
• 要把%HADOOP_HOME/etc/hadoop中以下三个设置文件放到IDEA Maven 工程里 resources 下
  
  

  

• core-site.xml  
  
• hdfs-site.xml  
  
• yarn-site.xml
  

4.pom.xml 中除了开辟用jar, 还须要如下依赖：（从输出中，推测大概是在当地天生web服务，上传文件用的）；

1. <dependency>
2.    <groupId>org.apache.hadoop</groupId>
3.    <artifactId>hadoop-yarn-server-web-proxy</artifactId>
4.    <version>${hadoop.version}</version>
5. </dependency>

复制代码

  

• 完备scala代码：
  

1. package org.example
3. import org.apache.spark.sql.SparkSession
4. import org.apache.spark.SparkConf
6. object SimpleApp_on_yarn {
7.    
8.    
9.   def main(args: Array[String]) {
10.    
11.    
12.     val logFile = "hdfs://10.194.216.100:9000/test/README.md"
14.     System.setProperty("HADOOP_USER_NAME", "root") //hdfs 目录访问的解决权限问题
15.     val spark_on_yarn_Conf = new SparkConf()
16.       .setAppName("WordCount")
17.       // .set("mapreduce.app-submission.cross-platform", "true")
18.       // 设置yarn-client模式提交
19.       .setMaster("yarn")
20.       // 设置resourcemanager的ip
21.       .set("yarn.resourcemanager.hostname", "hadoop02")
23.       // 设置executor的个数
24.       //.set("spark.executor.instance", "1")
25.       // .set("spark.executor.cores", "4")
26.       // 设置executor的内存大小
27.       //.set("spark.executor.memory", "600m")
28.       //.set("spark.driver.memory", "600m")
30.       // 设置driver的ip地址 ; 本地IP,不能是localhost
31.       .set("spark.driver.host", "10.194.208.109")  //开发端作为Driver端
32.       .set("spark.driver.port", "5555")
33.       //需要设置为yarn可访问位置-hdfs
34.       .set("spark.yarn.jars", "hdfs:///usr/sparkjars/*")
35.       //  设置程序打包后的jar包的路径,如果有其他的依赖包,可以在这里添加,逗号隔开
36.       .setJars(List("target/Spark-demo-1.0-SNAPSHOT.jar"))
38.     val spark = SparkSession.builder.config(spark_on_yarn_Conf).getOrCreate()
40.     val csinfo = spark.sparkContext.getConf.getAll
41.     println("*" * 50)
42.     csinfo.foreach(println);
43.     println("*" * 50)
45.      val logData = spark.read.textFile(logFile)
47.     val rows = logData.count();
48.     println()
49.     println("********************结果如下******************")
50.     println(s"****  文 件 的 总 行 数 是: $rows 行 ****")
51.     println("*" * 50)
52.     println()
53.     spark.close()
55.   }
56. }

复制代码

pom.xml

1. <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
2.   xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
3.   <modelVersion>4.0.0</modelVersion>
5.   <groupId>org.example</groupId>
6.   <artifactId>Spark-demo</artifactId>
7.   <version>1.0-SNAPSHOT</version>
8.   <packaging>jar</packaging>
10.   <name>Spark-demo</name>
12.   <properties>
13.     <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
14.     <scala.version>2.12</scala.version>
15.     <spark.version>3.3.4</spark.version>
16.     <hadoop.version>2.10.2</hadoop.version>
17.   </properties>
19.   <repositories>
20.     <repository>
21.       <id>central_maven</id>
22.       <name>central maven</name>
23.       <url>https://repo1.maven.org/maven2</url>
24.     </repository>
25.     <repository>
26.       <id>nexus-aliyun</id>
27.       <name>Nexus aliyun</name>
28.       <url>https://maven.aliyun.com/nexus/content/groups/public</url>
29.     </repository>
30.     <repository>
31.       <id>centralMaven</id>
32.       <name>central maven</name>
33.       <url>https://mvnrepository.com/</url>
34.     </repository>
35.     <repository>
36.       <id>cloudera</id>
37.       <url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>
38.     </repository>
39.     <repository>
40.       <id>apache.snapshots</id>
41.       <name>Apache Development Snapshot Repository</name>
42.       <url>https://repository.apache.org/content/repositories/snapshots/</url>
43.       <releases>
44.         <enabled>false</enabled>
45.       </releases>
46.       <snapshots>
47.         <enabled>true</

复制代码