Linux CentOS安装PySpark3.5（单机版）具体教程及呆板学习实战

目次
一、安装须知
二、安装Spark
1、下载安装包
2、修改设置文件spark-env.sh
3、验证Spark是否安装乐成
三、安装py4j
四、安装Scala
五、设置环境变量
六、基于PySpark的呆板学习实战
1、将数据文件上传HDFS
2、创建代码文件
3、提交应用步调

---

一、安装须知

前置依赖：
   JDK 1.8
  Hadoop 3.1.3
  安装教程可见我的另一篇文章：Linux CentOS安装Hadoop3.1.3（单机版）具体教程
本教程将对以下软件举行安装：
   Spark 3.5.2
  py4j
  二、安装Spark

1、下载安装包

进入下载地点

下载“spark-3.5.2-bin-without-hadoop.tgz”，然后上传到linux服务器上。
大概在服务器使用以下下令下载安装包：

1. wget https://archive.apache.org/dist/spark/spark-3.5.2/spark-3.5.2-bin-without-hadoop.tgz

复制代码

将安装包解压：

1. tar -zxf spark-3.5.2-bin-without-hadoop.tgz -C /opt
2. mv /opt/spark-3.5.2-bin-without-hadoop/ /opt/spark

复制代码

2、修改设置文件spark-env.sh

修改设置文件spark-env.sh，下令如下：

1. cd /opt/spark
2. cp ./conf/spark-env.sh.template ./conf/spark-env.sh

复制代码

编辑spark-env.sh文件：

1. vim ./conf/spark-env.sh

复制代码

设置SPARK_DIST_CLASSPATH环境变量并生存：

1. export SPARK_DIST_CLASSPATH=$(/opt/hadoop/bin/hadoop classpath)

复制代码

通过实行 /opt/hadoop/bin/hadoop classpath 下令获取的 Hadoop 类路径（classpath）。
在 Hadoop 中，classpath 下令用于输出一个下令行，该下令行可以用来设置 Java 的类路径，以便 Hadoop 可以大概找到它须要的全部库和设置文件。这个下令行通常包罗了 Hadoop 的 conf 目次、HDFS 的 data 目次以及 Hadoop 的 lib 目次中的全部 JAR 文件。
将 classpath 下令的输出设置为 SPARK_DIST_CLASSPATH 环境变量，有助于确保 Spark 可以大概准确地辨认和访问 Hadoop 的依赖和设置。如许，Spark 就可以与 Hadoop 协同工作，使用 Hadoop 的文件体系和其他 Hadoop 相干的功能。

3、验证Spark是否安装乐成

运行以下下令：

1. bin/run-e

复制代码