qidao123.com ToB IT社区-企服评测·应用市场»论坛 › 大数据 › 数据仓库与分析 › Spark根本入门

Spark根本入门

[复制链接]
发表于 2026-2-21 06:51:52 | 显示全部楼层 |阅读模式

马上注册，结交更多好友，享用更多功能，让你轻松玩转社区。

您需要 登录 才可以下载或查看，没有账号？立即注册

×
spark根本入门

   
       
  • 情况搭建
           
    • local     
    • standlone     
    • spark ha   
       
  • spark code
           
    • spark core     
    • spark sql     
    • spark streaming   
       
  情况搭建

准备工作

创建安装目次

  1. mkdir /opt/soft
  2. cd /opt/soft
复制代码
下载scala

  1. wget https://downloads.lightbend.com/scala/2.13.14/scala-2.13.14.tgz -P /opt/soft
复制代码
解压scala

  1. tar -zxvf scala-2.13.14.tgz
复制代码
修改scala目次名称

  1. mv scala-2.13.14 scala-2
复制代码
下载spark

  1. wget https://dlcdn.apache.org/spark/spark-3.5.1/spark-3.5.1-bin-hadoop3-scala2.13.tgz -P /opt/soft
复制代码
解压spark

  1. tar -zxvf spark-3.5.1-bin-hadoop3-scala2.13.tgz
复制代码
修改目次名称

  1. mv spark-3.5.1-bin-hadoop3-scala2.13 spark-3
复制代码
修改情况遍历

  1. vim /etc/profile.d/my_env.sh
复制代码
  1. export JAVA_HOME=/opt/soft/jdk-8
  3. export ZOOKEEPER_HOME=/opt/soft/zookeeper-3
  5. export HDFS_NAMENODE_USER=root
  6. export HDFS_SECONDARYNAMENODE_USER=root
  7. export HDFS_DATANODE_USER=root
  8. export HDFS_ZKFC_USER=root
  9. export HDFS_JOURNALNODE_USER=root
  10. export HADOOP_SHELL_EXECNAME=root
  12. export YARN_RESOURCEMANAGER_USER=root
  13. export YARN_NODEMANAGER_USER=root
  15. export HADOOP_HOME=/opt/soft/hadoop-3
  16. export HADOOP_INSTALL=$HADOOP_HOME
  17. export HADOOP_MAPRED_HOME=$HADOOP_HOME
  18. export HADOOP_COMMON_HOME=$HADOOP_HOME
  19. export HADOOP_HDFS_HOME=$HADOOP_HOME
  20. export YARN_HOME=$HADOOP_HOME
  21. export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
  23. export HBASE_HOME=/opt/soft/hbase-2
  25. export PHOENIX_HOME=/opt/soft/phoenix
  27. export HIVE_HOME=/opt/soft/hive-3
  28. export HCATALOG_HOME=/opt/soft/hive-3/hcatalog
  30. export HCAT_HOME=/opt/soft/hive-3/hcatalog
  31. export SQOOP_HOME=/opt/soft/sqoop-1
  33. export FLUME_HOME=/opt/soft/flume
  35. export SCALA_HOME=/opt/soft/scala-2
  37. export SPARK_HOME=/opt/soft/spark-3
  38. export SPARKPYTHON=/opt/soft/spark-3/python
  40. export PATH=$PATH:$JAVA_HOME/bin:$ZOOKEEPER_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HBASE_HOME/bin:$PHOENIX_HOME/bin:$HIVE_HOME/bin:$HCATALOG_HOME/bin:$HCATALOG_HOME/sbin:$HCAT_HOME/bin:$SQOOP_HOME/bin:$FLUME_HOME/bin:$SCALA_HOME/bin:$SPARK_HOME/bin:$SPARK_HOME/sbin:$SPARKPYTHON
复制代码
  1. source /etc/profile
复制代码
Local模式

scala java

启动

  1. spark-shell
复制代码

页面所在：http://spark01:4040


退出

  1. :quit
复制代码

pyspark


启动

  1. pyspark
复制代码

页面所在：http://spark01:4040


退出

  1. quit() or Ctrl-D
复制代码

当地模式提交应用

   在spark目次下实行
  1. bin/spark-submit \
  2. --class org.apache.spark.examples.SparkPi \
  3. --master local[4] \
  4. ./examples/jars/spark-examples_2.13-3.5.0.jar \
  5. 10
复制代码
  
       
  • –class表现要实行步调的主类，此处可以更换为咱们自己写的应用步调   
  • –master local[2] 摆设模式，默以为当地模式，数字表现分配的假造CPU核数量   
  • spark-examples_2.13-3.5.0.jar 运行的应用类所在的jar包，现实利用时，可以设定为咱们自己打的jar包   
  • 数字10表现步调的入口参数，用于设定当前应用的任务数量  
  Standalone模式

编写核心设置文件

   cont目次下
  1. cd /opt/soft/spark-3/conf
复制代码
  1. cp spark-env.sh.template spark-env.sh
复制代码
  1. vim spark-env.sh
复制代码
  1. export JAVA_HOME=/opt/soft/jdk-8
  2. export HADOOP_HOME=/opt/soft/hadoop-3
  3. export HADOOP_CONF_DIR=/opt/soft/hadoop-3/etc/hadoop
  4. export JAVA_LIBRAY_PATH=/opt/soft/hadoop-3/lib/native
  5. export SPARK_DIST_CLASSPATH=$(/opt/soft/hadoop-3/bin/hadoop classpath)
  7. export SPARK_MASTER_HOST=spark01
  8. export SPARK_MASTER_PORT=7077
  10. export SPARK_WORKER_MEMORY=4g
  11. export SPARK_WORKER_CORES=4
  12. export SPARK_MASTER_WEBUI_PORT=6633
复制代码
编辑slaves

  1. cp workers.template workers
复制代码
  1. vim workers
复制代码
  1. spark01
  2. spark02
  3. spark03
复制代码
设置汗青日志日志

  1. cp spark-defaults.conf.template spark-defaults.conf
复制代码
  1. vim spark-defaults.conf
复制代码
  1. spark.eventLog.enabled           true
  2. spark.eventLog.dir               hdfs://lihaozhe/spark-log
复制代码
  1. hdfs dfs -mkdir /spark-log
复制代码
  1. vim spark-env.sh
复制代码
  1. export SPARK_HISTORY_OPTS="
  2. -Dspark.history.ui.port=18080
  3. -Dspark.history.retainedApplications=30
  4. -Dspark.history.fs.logDirectory=hdfs://lihaozhe/spark-log"
复制代码
修改启动文件名称

  1. mv sbin/start-all.sh sbin/start-spark.sh
  2. mv sbin/stop-all.sh sbin/stop-spark.sh
复制代码
分发搭配其他节点

  1. scp -r /opt/soft/spark-3 root@spark02:/opt/soft
  2. scp -r /opt/soft/spark-3 root@spark03:/opt/soft
复制代码
  1. scp /etc/profile.d/my_env.sh root@spark02:/etc/profile.d
  2. scp /etc/profile.d/my_env.sh  root@spark03:/etc/profile.d
复制代码
  在别的节点革新情况遍历
  1. source /etc/profile
复制代码
启动

  1. start-spark.sh
  2. start-history-server.sh
复制代码
webui

   http://spark01:6633
  

   http://spark01:18080
  

提交作业到集群

  1. spark-submit \
  2. --class org.apache.spark.examples.SparkPi \
  3. --master spark://spark01:7077 \
  4. ./examples/jars/spark-examples_2.13-3.5.0.jar \
  5. 10
复制代码
提交作业到Yarn

  1. spark-submit \
  2. --master yarn \
  3. --class  org.apache.spark.examples.SparkPi \
  4. ./examples/jars/spark-examples_2.13-3.5.0.jar \
  5. 10
复制代码
HA模式

编写核心设置文件

   cont目次下
  1. cd /opt/soft/spark-3/conf
复制代码
  1. cp spark-env.sh.template spark-env.sh
复制代码
  1. vim spark-env.sh
复制代码
  1. export JAVA_HOME=/opt/soft/jdk-8
  2. export HADOOP_HOME=/opt/soft/hadoop-3
  3. export HADOOP_CONF_DIR=/opt/soft/hadoop-3/etc/hadoop
  4. export JAVA_LIBRAY_PATH=/opt/soft/hadoop-3/lib/native
  5. export SPARK_DIST_CLASSPATH=$(/opt/soft/hadoop-3/bin/hadoop classpath)
  7. SPARK_DAEMON_JAVA_OPTS="
  8. -Dspark.deploy.recoveryMode=ZOOKEEPER
  9. -Dspark.deploy.zookeeper.url=spark01:2181,spark02:2181,spark03:2181
  10. -Dspark.deploy.zookeeper.dir=/spark"
  12. export SPARK_WORKER_MEMORY=8g
  13. export SPARK_WORKER_CORES=8
  14. export SPARK_MASTER_WEBUI_PORT=6633
复制代码
编辑slaves

  1. cp workers.template workers
复制代码
  1. vim workers
复制代码
  1. spark01
  2. spark02
  3. spark03
复制代码
设置汗青日志日志

  1. cp spark-defaults.conf.template spark-defaults.conf
复制代码
  1. vim spark-defaults.conf
复制代码
  1. spark.eventLog.enabled           true
  2. spark.eventLog.dir               hdfs://lihaozhe/spark-log
复制代码
  1. hdfs dfs -mkdir /spark-log
复制代码
  1. vim spark-env.sh
复制代码
  1. export SPARK_HISTORY_OPTS="
  2. -Dspark.history.ui.port=18080
  3. -Dspark.history.retainedApplications=30
  4. -Dspark.history.fs.logDirectory=hdfs://lihaozhe/spark-log"
复制代码
修改启动文件名称

  1. mv sbin/start-all.sh sbin/start-spark.sh
  2. mv sbin/stop-all.sh sbin/stop-spark.sh
复制代码
分发搭配其他节点

  1. scp -r /opt/soft/spark-3 root@spark02:/opt/soft
  2. scp -r /opt/soft/spark-3 root@spark03:/opt/soft
复制代码
  1. scp /etc/profile.d/my_env.sh root@spark02:/etc/profile.d
  2. scp /etc/profile.d/my_env.sh  root@spark03:/etc/profile.d
复制代码
  在别的节点革新情况遍历
  1. source /etc/profile
复制代码
启动

  1. start-spark.sh
  2. start-history-server.sh
复制代码
webui

   http://spark01:6633
  

   http://spark01:18080
  

提交作业到集群

  1. spark-submit \
  2. --class org.apache.spark.examples.SparkPi \
  3. --master spark://spark01:7077 \
  4. ./examples/jars/spark-examples_2.13-3.5.0.jar \
  5. 10
复制代码
提交作业到Yarn

  1. spark-submit --master yarn \
  2. --class  org.apache.spark.examples.SparkPi \
  3. ./examples/jars/spark-examples_2.13-3.5.0.jar 10
复制代码
spark-code

pom.xml

  1. <?xml version="1.0" encoding="UTF-8"?>
  2. <project xmlns="http://maven.apache.org/POM/4.0.0"
  3.          xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
  4.          xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
  5.   <modelVersion>4.0.0</modelVersion>
  7.   <groupId>com.lihaozhe</groupId>
  8.   <artifactId>spark-code</artifactId>
  9.   <version>1.0.0</version>
  11.   <properties>
  12.     <jdk.version>8</jdk.version>
  13.     <maven.compiler.target>8</maven.compiler.target>
  14.     <maven.compiler.compilerVersion>8</maven.compiler.compilerVersion>
  15.     <maven.compiler.encoding>utf-8</maven.compiler.encoding>
  16.     <project.build.sourceEncoding>utf-8</project.build.sourceEncoding>
  17.     <project.reporting.outputEncoding>UTF-8</project.reporting.outputEncoding>
  18.     <maven.test.failure.ignore>true</maven.test.failure.ignore>
  19.     <maven.test.skip>true</maven.test.skip>
  20.     <spark.version>3.5.1</spark.version>
  22.     <commons-dbutils.version>1.8.1</commons-dbutils.version>
  23.     <commons-io.version>2.14.0</commons-io.version>
  24.     <commons-lang3.version>3.14.0</commons-lang3.version>
  25.     <druid.version>1.2.23</druid.version>
  26.     <fastjson.version>2.0.51</fastjson.version>
  27.     <fastjson2.version>2.0.51</fastjson2.version>
  28.     <gson.version>2.11.0</gson.version>
  29.     <hadoop.version>3.3.6</hadoop.version>
  30.     <hive.version>3.1.3</hive.version>
  31.     <java-testdata-generator.version>1.1.2</java-testdata-generator.version>
  32.     <hutool.version>5.8.29</hutool.version>
  33.     <jackson.version>2.17.2</jackson.version>
  34.     <junit.version>5.10.3</junit.version>
  35.     <lombok.version>1.18.34</lombok.version>
  36.     <mysql.version>8.4.0</mysql.version>
  37.     <scala.version>2.13.14</scala.version>
  38.   </properties>
  39.   <dependencies>
  40.     <dependency>
  41.       <groupId>org.scala-lang</groupId>
  42.       <artifactId>scala-library</artifactId>
  43.       <version>${scala.version}</version>
  44.     </dependency>
  45.     <dependency>
  46.       <groupId>org.scala-lang</groupId>
  47.       <artifactId>scala-compiler</artifactId>
  48.       <version>${scala.version}</version>
  49.     </dependency>
  50.     <dependency>
  51.       <groupId>com.github.binarywang</groupId>
  52.       <artifactId>java-testdata-generator</artifactId>
  53.       <version>${java-testdata-generator.version}</version>
  54.     </dependency>
  55.     <!-- spark-core -->
  56.     <dependency>
  57.       <groupId>org.apache.spark</groupId>
  58.       <artifactId>spark-core_2.13</artifactId>
  59.       <version>${spark.version}</version>
  60.     </dependency>
  61.     <dependency>
  62.       <groupId>org.apache.spark</groupId>
  63.       <artifactId>spark-sql_2.13</artifactId>
  64.       <version>${spark.version}</version>
  65.     </dependency>
  66.     <dependency>
  67.       <groupId>org.apache.spark</groupId>
  68.       <artifactId>spark-streaming_2.13</artifactId>
  69.       <version>${spark.version}</version>
  70.     </dependency>
  71.     <dependency>
  72.       <groupId>org.apache.spark</groupId>
  73.       <artifactId>spark-hive_2.13</artifactId>
  74.       <version>${spark.version}</version>
  75.     </dependency>
  76.     <dependency>
  77.       <groupId>org.apache.spark</groupId>
  78.       <artifactId>spark-streaming-kafka-0-10_2.13</artifactId>
  79.       <version>${spark.version}</version>
  80.     </dependency>
  81.     <!-- junit-jupiter-api -->
  82.     <dependency>
  83.       <groupId>org.junit.jupiter</groupId>
  84.       <artifactId>junit-jupiter-api</artifactId>
  85.       <version>${junit.version}</version>
  86.       <scope>test</scope>
  87.     </dependency>
  88.     <!-- junit-jupiter-engine -->
  89.     <dependency>
  90.       <groupId>org.junit.jupiter</groupId>
  91.       <artifactId>junit-jupiter-engine</artifactId>
  92.       <version>${junit.version}</version>
  93.       <scope>test</scope>
  94.     </dependency>
  95.     <dependency>
  96.       <groupId>org.projectlombok</groupId>
  97.       <artifactId>lombok</artifactId>
  98.       <version>${lombok.version}</version>
  99.     </dependency>
  100.     <dependency>
  101.       <groupId>org.apache.logging.log4j</groupId>
  102.       <artifactId>log4j-slf4j2-impl</artifactId>
  103.       <version>2.23.1</version>
  104.     </dependency>
  105.     <dependency>
  106.       <groupId>org.apache.logging.log4j</groupId>
  107.       <artifactId>log4j-core</artifactId>
  108.       <version>2.23.1</version>
  109.     </dependency>
  110.     <dependency>
  111.       <groupId>org.slf4j</groupId>
  112.       <artifactId>slf4j-api</artifactId>
  113.       <!--<version>1.7.36</version>-->
  114.       <version>2.0.13</version>
  115.     </dependency>
  116.     <dependency>
  117.       <groupId>org.apache.hadoop</groupId>
  118.       <artifactId>hadoop-client</artifactId>
  119.       <version>${hadoop.version}</version>
  120.     </dependency>
  121.     <dependency>
  122.       <groupId>org.apache.hive</groupId>
  123.       <artifactId>hive-jdbc</artifactId>
  124.       <version>${hive.version}</version>
  125.     </dependency>
  126.     <dependency>
  127.       <groupId>org.apache.commons</groupId>
  128.       <artifactId>commons-lang3</artifactId>
  129.       <version>${commons-lang3.version}</version>
  130.     </dependency>
  131.     <dependency>
  132.       <groupId>commons-io</groupId>
  133.       <artifactId>commons-io</artifactId>
  134.       <version>${commons-io.version}</version>
  135.     </dependency>
  136.     <dependency>
  137.       <groupId>com.mysql</groupId>
  138.       <artifactId>mysql-connector-j</artifactId>
  139.       <version>${mysql.version}</version>
  140.     </dependency>
  141.   </dependencies>
  142.   <build>
  143.     <finalName>${project.artifactId}</finalName>
  144.     <!--<outputDirectory>../package</outputDirectory>-->
  145.     <plugins>
  146.       <plugin>
  147.         <groupId>org.apache.maven.plugins</groupId>
  148.         <artifactId>maven-compiler-plugin</artifactId>
  149.         <version>3.13.0</version>
  150.         <configuration>
  151.           <!-- 设置编译字符编码 -->
  152.           <encoding>UTF-8</encoding>
  153.           <!-- 设置编译jdk版本 -->
  154.           <source>${jdk.version}</source>
  155.           <target>${jdk.version}</target>
  156.         </configuration>
  157.       </plugin>
  158.       <plugin>
  159.         <groupId>org.apache.maven.plugins</groupId>
  160.         <artifactId>maven-clean-plugin</artifactId>
  161.         <version>3.4.0</version>
  162.       </plugin>
  163.       <plugin>
  164.         <groupId>org.apache.maven.plugins</groupId>
  165.         <artifactId>maven-resources-plugin</artifactId>
  166.         <version>3.3.1</version>
  167.       </plugin>
  168.       <plugin>
  169.         <groupId>org.apache.maven.plugins</groupId>
  170.         <artifactId>maven-war-plugin</artifactId>
  171.         <version>3.4.0</version>
  172.       </plugin>
  173.       <plugin>
  174.         <groupId>org.apache.maven.plugins</groupId>
  175.         <artifactId>maven-jar-plugin</artifactId>
  176.         <version>3.4.2</version>
  177.       </plugin>
  178.       <!-- 编译级别 -->
  179.       <!-- 打包的时候跳过测试junit begin -->
  180.       <plugin>
  181.         <groupId>org.apache.maven.plugins</groupId>
  182.         <artifactId>maven-surefire-plugin</artifactId>
  183.         <version>3.3.0</version>
  184.         <configuration>
  185.           <skip>true</skip>
  186.         </configuration>
  187.       </plugin>
  188.       <!-- 该插件用于将Scala代码编译成class文件 -->
  189.       <plugin>
  190.         <groupId>net.alchim31.maven</groupId>
  191.         <artifactId>scala-maven-plugin</artifactId>
  192.         <version>4.9.2</version>
  193.         <configuration>
  194.           <scalaCompatVersion>${scala.version}</scalaCompatVersion>
  195.           <scalaVersion>${scala.version}</scalaVersion>
  196.         </configuration>
  197.         <executions>
  198.           <execution>
  199.             <id>scala-compile-first</id>
  200.             <phase>process-resources</phase>
  201.             <goals>
  202.               <goal>compile</goal>
  203.             </goals>
  204.           </execution>
  205.           <execution>
  206.             <goals>
  207.               <goal>testCompile</goal>
  208.             </goals>
  209.           </execution>
  210.           <execution>
  211.             <id>compile-scala</id>
  212.             <phase>compile</phase>
  213.             <goals>
  214.               <goal>add-source</goal>
  215.               <goal>compile</goal>
  216.             </goals>
  217.           </execution>
  218.           <execution>
  219.             <id>test-compile-scala</id>
  220.             <phase>test-compile</phase>
  221.             <goals>
  222.               <goal>add-source</goal>
  223.               <goal>testCompile</goal>
  224.             </goals>
  225.           </execution>
  226.         </executions>
  227.       </plugin>
  228.       <plugin>
  229.         <groupId>org.apache.maven.plugins</groupId>
  230.         <artifactId>maven-assembly-plugin</artifactId>
  231.         <version>3.7.1</version>
  232.         <configuration>
  233.           <descriptorRefs>
  234.             <descriptorRef>jar-with-dependencies</descriptorRef>
  235.           </descriptorRefs>
  236.         </configuration>
  237.         <executions>
  238.           <execution>
  239.             <id>make-assembly</id>
  240.             <phase>package</phase>
  241.             <goals>
  242.               <goal>single</goal>
  243.             </goals>
  244.           </execution>
  245.         </executions>
  246.       </plugin>
  247.     </plugins>
  248.   </build>
  249. </project>
复制代码
hdfs-conf

   在 resources 目次下存放 hdfs 核心设置文件 core-site.xml 和hdfs-site.xml
  被引入的hdfs设置文件为测试集群设置文件
  由于生产情况与测试情况差异，项目打包的时间清除hdfs设置文件
  rdd

   雷同点：
都是分布式数据集
DataFrame底层是RDD，但是DataSet不是，不外他们末了都是转换成RDD运行
DataSet和DataFrame的雷同点都是有数据特性、数据范例的分布式数据集(schema)
差异点：
schema信息：
RDD中的数据是没有数据范例的
DataFrame中的数据是弱数据范例，不会做数据范例查抄
  ​ 固然有schema规定了数据范例，但是编译时是不会报错的，运行时才会报错
​ DataSet中的数据范例是强数据范例
序列化机制：
​ RDD和DataFrame默认的序列化机制是java的序列化，可以修改为Kyro的机制
​ DataSet利用自界说的数据编码器举行序列化和反序列化
  数据集方式构建RDD

  1. package cn.lihaozhe.chap01;
  3. import org.apache.spark.SparkConf;
  4. import org.apache.spark.api.java.JavaRDD;
  5. import org.apache.spark.api.java.JavaSparkContext;
  7. import java.util.Arrays;
  8. import java.util.List;
  10. /**
  11. * 数据集构建RDD
  12. * RDD代表弹性分布式数据集。它是记录的只读分区集合。 RDD是Spark的基本数据结构。它允许程序员以容错方式在大型集群上执行内存计算。
  13. *
  14. * @author 李昊哲
  15. * @version 1.0
  16. */
  17. public class JavaDemo01 {
  18.    
  19.    
  20.   public static void main(String[] args) {
  21.    
  22.    
  23.     // SparkConf conf = new SparkConf().setAppName("RDD").setMaster("local");
  24.     // spark基础配置
  25.     SparkConf conf = new SparkConf().setAppName("RDD");
  26.     // 本地运行
  27.     conf.setMaster("local");
  28.     try (JavaSparkContext sparkContext = new JavaSparkContext(conf)) {
  29.    
  30.    
  31.       // 数据集
  32.       List<Integer> list = Arrays.asList(1, 2, 3, 4, 5);
  33.       // 从集合中创建 RDD
  34.       JavaRDD<Integer> javaRDD = sparkContext.parallelize(list);
  35.       // 将 spark RDD 转为 java 对象
  36.       List<Integer> collect = javaRDD.collect();
  37.       // lambda 表达式
  38.       collect.forEach(System.out::println);
  39.     }
  40.   }
  41. }
复制代码
  1. package cn.lihaozhe.chap01
  3. import org.apache.spark.{
  4.    
  5.    SparkConf, SparkContext}
  7. /**
  8. * 数据集构建RDD
  9. * RDD代表弹性分布式数据集。它是记录的只读分区集合。 RDD是Spark的基本数据结构。它允许程序员以容错方式在大型集群上执行内存计算。
  10. *
  11. * @author 李昊哲
  12. * @version 1.0
  13. */
  14. object ScalaDemo01 {
  15.    
  16.    
  17.   def main(args: Array[String]): Unit = {
  18.    
  19.    
  20.     // val conf = new SparkConf().setAppName("RDD").setMaster("local")
  21.     // spark基础配置
  22.     val conf = new SparkConf().setAppName("RDD")
  23.     // 本地运行
  24.     conf.setMaster("local")
  25.     val sparkContext = new SparkContext(conf)
  26.     // 数据集
  27.     val data = Array(1, 2, 3, 4, 5)
  28.     // 从集合中创建 RDD
  29.     // ParallelCollectionRDD
  30.     val rdd = sparkContext.parallelize(data)
  31.     rdd.foreach(println(_))
  32.   }
  33. }
复制代码
当地文件构建RDD

   words.txt
  1. linux shell
  2. java mysql jdbc
  3. hadoop hdfs mapreduce
  4. hive presto
  5. flume kafka
  6. hbase phoenix
  7. scala spark
  8. sqoop flink
  9. linux shell
  10. java mysql jdbc
  11. hadoop hdfs mapreduce
  12. hive presto
  13. flume kafka
  14. hbase phoenix
  15. scala spark
  16. sqoop flink
  17. base phoenix
  18. scala spark
  19. sqoop flink
  20. linux shell
  21. java mysql jdbc
  22. hadoop hdfs mapreduce
  23. java mysql jdbc
  24. hadoop hdfs mapreduce
  25. hive presto
  26. flume kafka
  27. hbase phoenix
  28. scala spark
  29. java mysql jdbc
  30. hadoop hdfs mapreduce
  31. java mysql jdbc
  32. hadoop hdfs mapreduce
  33. hive presto
复制代码
  1. package cn.lihaozhe.chap01;
  3. import org.apache.spark.SparkConf;
  4. import org.apache.spark.api.java.JavaRDD;
  5. import org.apache.spark.api.java.JavaSparkContext;
  7. import java.util.List;
  9. /**
  10. * 借助外部文件 External Datasets 构建 RDD
  11. *
  12. * @author 李昊哲
  13. * @version 1.0
  14. */
  15. public class JavaDemo02 {
  16.    
  17.    
  18.   public static void main(String[] args) {
  19.    
  20.    
  21.     // SparkConf conf = new SparkConf().setAppName("RDD").setMaster("local");
  22.     // spark基础配置
  23.     SparkConf conf = new SparkConf().setAppName("RDD");
  24.     // 本地运行
  25.     conf.setMaster("local");
  26.     try (JavaSparkContext sparkContext = new JavaSparkContext(conf)) {
  27.    
  28.    
  29.       // 使用本地文件系统构建数据集
  30.       JavaRDD<String> javaRDD = sparkContext.textFile("file:///D:/work/河南师范大学/2023/bigdata2023/spark/code/spark-code/word.txt");
  31.       // 将 spark RDD 转为 java 对象
  32.       List<String> collect = javaRDD.collect();
  33.       // lambda 表达式
  34.       collect.forEach(System.out::println);
  35.     }
  36.   }
  37. }
复制代码
  1. package cn.lihaozhe.chap01
  3. import org.apache.spark.{
  4.    
  5.    SparkConf, SparkContext}
  7. /**
  8. * 借助外部文件 External Datasets 构建 RDD
  9. *
  10. * @author 李昊哲
  11. * @version 1.0
  12. */
  13. object ScalaDemo02 {
  14.    
  15.    
复制代码
回复

使用道具 举报

返回列表

丝
+ 我要发帖

登录后关闭弹窗

登录参与点评抽奖  加入IT实名职场社区
去登录
快速回复 返回顶部 返回列表