【Spark】【大数据技能根本】课程 作业五 Spark根本编程

作业5 Spark根本编程（Spark学习指南）

        Apache Spark 是一个新兴的大数据处置惩罚通用引擎，提供了分布式的内存抽象。Spark 最大的特点就是快，可比 Hadoop MapReduce 的处置惩罚速率快 100 倍。Spark 的安装完成后就可以直接使用，不必要像Hadoop运行启动下令。

一、验证Spark是否安装乐成

通过运行Spark自带的示例，验证Spark是否安装乐成。

cd /usr/local/spark
bin/run-example SparkPi

   

假如 实行时会输出非常多的运行信息，输出效果不容易找到，可以通过 grep 下令举行过滤（下令中的 2>&1 可以将全部的信息都输出到 stdout 中，否则由于输出日志的性子，照旧会输出到屏幕中）:

1. bin/run-example SparkPi 2>&1 | grep "Pi is"

复制代码

这里涉及到Linux Shell中管道的知识，详情可以参考Linux Shell中的管道下令

  

过滤后的运行效果如下图示，可以得到π 的 5 位小数近似值：

  

  二、使用 Spark Shell 编写代码

        学习Spark步调开辟，发起起首通过spark-shell交互式学习，加深Spark步调开辟的明确。该部门先容了 Spark Shell 的根本使用。Spark shell 提供了简单的方式来学习 API，也提供了交互的方式来分析数据。

Spark Shell 支持 Scala 和 Python，该部门教程选择使用 Scala 来举行先容。

启动Spark Shell

1.cd  /usr/local/spark
2.sbin/start-all.sh
3.bin/spark-shell

启动spark-shell后，会自动创建名为sc的spark context对象和名为sqlContext的sql context对象,如图：

加载text文件

spark创建sc，可以加载当地文件和HDFS文件创建RDD。这里用Spark自带的当地文件README.md文件测试。

1. val textFile = sc.textFile("file:///usr/local/spark/README.md")

复制代码

加载HDFS文件和当地文件都是使用textFile，区别是添加前缀(hdfs://和file://)举行标识。

简单RDD操纵

//获取RDD文件textFile的第一行内容

1. textFile.first()

复制代码

//获取RDD文件textFile全部项的计数

1. textFile.count()

复制代码

//抽取含有“Spark”的行，返回一个新的RDD

1. val lineWithSpark = textFile.filter(line => line.contains("Spark"))

复制代码

//统计新的RDD的行数

1. lineWithSpark.count()

复制代码

        可以通过组合RDD操纵举行组合，可以实现浅显MapReduce操纵

//找出文本中每行的最多单词数

1. textFile.map(line => line.split(" ").size).reduce((a, b) => if (a > b) a else b)

复制代码

更多RDD的操纵，请访问Spark官方文档RDD操纵

退出Spark Shell

输入exit，即可退出spark shell

1. exit

复制代码

【碰到的标题】：输入exit，无法退出spark shell
【办理方法】：输入:quit大概:q，即可退出spark shell

1. :quit

复制代码

三、独立应用步调编程

接着我们通过一个简单的应用步调 SimpleApp 来演示怎样通过 Spark API 编写一个独立应用步调。使用 Scala 编写的步调必要使用 sbt 举行编译打包，相应的，Java 步调使用 Maven 编译打包，而 Python 步调通过 spark-submit 直接提交。

Scala独立应用编程

安装sbt

sbt是一款Spark用来对scala编写步调举行打包的工具，这里简单先容sbt的安装过程，感爱好的读者可以参考官网资料相识更多关于sbt的内容。
Spark 中没有自带 sbt，这里直接给出sbt-launch.jar的下载地点，直接点击下载即可。

我们选择安装在 /usr/local/sbt 中：

• sudo mkdir /usr/local/sbt
  
• sudo chown -R hadoop /usr/local/sbt      # 此处的 hadoop 为你的用户名
  
• cd /usr/local/sbt
  

下载后，实行如下下令拷贝至 /usr/local/sbt 中：

cp ~/下载/sbt-launch.jar ./

接着在 /usr/local/sbt 中创建 sbt 脚本（vim ./sbt），添加如下内容：

1. #!/bin/bash
3. SBT_OPTS="-Xms512M -Xmx1536M -Xss1M -XX:+CMSClassUnloadingEnabled -XX:MaxPermSize=256M"
5. java $SBT_OPTS -jar `dirname $0`/sbt-launch.jar "$@"

复制代码

生存后，为 ./sbt 脚本增长可实行权限：

chmod u+x ./sbt

末了运行如下下令，查验 sbt 是否可用（请确保电脑处于联网状态，初次运行会处于 “Getting org.scala-sbt sbt 0.13.11 …” 的下载状态，请耐心等待。笔者等待了 7 分钟才出现第一条下载提示）：

./sbt sbt-version

只要能得到如下图的版本信息就没标题：

Scala应用步调代码

在终端中实行如下下令创建一个文件夹 sparkapp 作为应用步调根目次：

cd ~           # 进入用户主文件夹
mkdir ./sparkapp        # 创建应用步调根目次
mkdir -p ./sparkapp/src/main/scala     # 创建所需的文件夹结构

在 ./sparkapp/src/main/scala 下创建一个名为 SimpleApp.scala 的文件（vim ./sparkapp/src/main/scala/SimpleApp.scala），添加代码如下：

1. /* SimpleApp.scala */
3. import org.apache.spark.SparkContext
5. import org.apache.spark.SparkContext._
7. import org.apache.spark.SparkConf
9. object SimpleApp {
11.     def main(args: Array[String]) {
13.         val logFile = "file:///usr/local/spark/README.md" // Should be some file on your system
15.         val conf = new SparkConf().setAppName("Simple Application")
17.         val sc = new SparkContext(conf)
19.         val logData = sc.textFile(logFile, 2).cache()
21.         val numAs = logData.filter(line => line.contains("a")).count()
23.         val numBs = logData.filter(line => line.contains("b")).count()
25.         println("Lines with a: %s, Lines with b: %s".format(numAs, numBs))
27.     }
29. }

复制代码

        该步调盘算 /usr/local/spark/README 文件中包罗 “a” 的行数 和包罗 “b” 的行数。代码第8行的 /usr/local/spark 为 Spark 的安装目次，假如不是该目次请自行修改。差异于 Spark shell，独立应用步调必要通过 val sc = new SparkContext(conf) 初始化 SparkContext，SparkContext 的参数 SparkConf 包罗了应用步调的信息。

        该步调依靠 Spark API，因此我们必要通过 sbt 举行编译打包。 ./sparkapp 中新建文件 simple.sbt（vim ./sparkapp/simple.sbt），添加内容如下，声明该独立应用步调的信息以及与 Spark 的依靠关系：

1. name := "Simple Project"
3. version := "1.0"
5. scalaVersion := "2.11.8"
7. libraryDependencies += "org.apache.spark" %% "spark-core" % "2.1.0"

复制代码

文件 simple.sbt 必要指明 Spark 和 Scala 的版本。在上面的设置信息中，scalaVersion用来指定scala的版本，sparkcore用来指定spark的版本，这两个版本信息都可以在之前的启动 Spark shell 的过程中，从屏幕的表现信息中找到。下面就是笔者在启动过程当中，看到的干系版本信息（备注：屏幕表现信息会很长，必要往回滚动屏幕细致探求信息）。

使用 sbt 打包 Scala 步调

SimpleApp的文件结构

为包管 sbt 能正常运行，先实行如下下令查抄整个应用步调的文件结构：

1. cd ~/sparkapp
3. find .

复制代码

留意find和点号之间有空格。

文件结构应如下图所示：

假如有target目次，必要删除！

   

删除target目次：

  

rm -rf 必要删除的目次路径

  

  打包成 JAR 

接着，我们就可以通过如下代码将整个应用步调打包成 JAR（初次运行同样必要下载依靠包 ）：

/usr/local/sbt/sbt package

   

打包乐成的话，会输出如下图内容：

  

  

天生的 jar 包的位置为 ~/sparkapp/target/ scala-2.11/simple-project_2.11-1.0.jar。

通过 spark-submit 运行步调

末了，我们就可以将天生的 jar 包通过 spark-submit 提交到 Spark 中运行了，下令如下：

1. /usr/local/spark/bin/spark-submit --class "SimpleApp" ~/sparkapp/target/scala-2.11/simple-project_2.11-1.0.jar

复制代码

 终极得到的效果如下：

Lines with a: 62, Lines with b: 30

自此，你就完成了你的第一个 Spark 应用步调了。

   假如 上面下令实行后会输出太多信息，可以不使用上面下令，而使用下面下令查察想要的效果
  

/usr/local/spark/bin/spark-submit --class "SimpleApp" ~/sparkapp/target/ scala-2.11/simple-project_2.11-1.0.jar 2>&1 | grep "Lines with a:"

  

Java独立应用编程

安装maven

        ubuntu中没有自带安装maven，必要手动安装maven。可以访问maven官方下载本身下载。这里直接给出apache-maven-3.3.9-bin.zip的下载地点,直接点击下载即可。
选择安装在/usr/local/maven中：

• sudo unzip ~/下载/apache-maven-3.3.9-bin.zip -d /usr/local
  
• cd /usr/local
  
• sudo mv apache-maven-3.3.9/ ./maven
  
• sudo chown -R hadoop ./maven
  

查抄发现已经安装了，以是本文只展示验证过程。

Java应用步调代码

在终端实行如下下令创建一个文件夹sparkapp2作为应用步调根目次
cd ~ #进入用户主文件夹
mkdir -p ./sparkapp2/src/main/java

在 ./sparkapp2/src/main/java 下创建一个名为 SimpleApp.java 的文件（vim ./sparkapp2/src/main/java/SimpleApp.java），添加代码如下：

1. /*** SimpleApp.java ***/
3. import org.apache.spark.api.java.*;
5. import org.apache.spark.api.java.function.Function;
7. public class SimpleApp {
9.     public static void main(String[] args) {
11.         String logFile = "file:///usr/local/spark/README.md"; // Should be some file on your system
13.         JavaSparkContext sc = new JavaSparkContext("local", "Simple App",
15.             "file:///usr/local/spark/", new String[]{"target/simple-project-1.0.jar"});
17.         JavaRDD<String> logData = sc.textFile(logFile).cache();
19.         long numAs = logData.filter(new Function<String, Boolean>() {
21.             public Boolean call(String s) { return s.contains("a"); }
23.         }).count();
25.         long numBs = logData.filter(new Function<String, Boolean>() {
27.             public Boolean call(String s) { return s.contains("b"); }
29.         }).count();
31.         System.out.println("Lines with a: " + numAs + ", lines with b: " + numBs);
33.     }
35. }

复制代码

该步调依靠Spark Java API,因此我们必要通过Maven举行编译打包。在./sparkapp2中新建文件pom.xml(vim ./sparkapp2/pom.xml),添加内容如下，声明该独立应用步调的信息以及与Spark的依靠关系：

1. <project>
3.     <groupId>edu.berkeley</groupId>
5.     <artifactId>simple-project</artifactId>
7.     <modelVersion>4.0.0</modelVersion>
9.     <name>Simple Project</name>
11.     <packaging>jar</packaging>
13.     <version>1.0</version>
15.     <repositories>
17.         <repository>
19.             <id>Akka repository</id>
21.             <url>http://repo.akka.io/releases</url>
23.         </repository>
25.     </repositories>
27.     <dependencies>
29.         <dependency> <!-- Spark dependency -->
31.             <groupId>org.apache.spark</groupId>
33.             <artifactId>spark-core_2.11</artifactId>
35.             <version>2.0.0-preview</version>
37.         </dependency>
39.     </dependencies>
41. </project>

复制代码

   

关于Spark dependency的依靠关系，可以访问The Central Repository。搜索spark-core可以找到干系依靠关系信息。

  

  
使用maven打包java步调

为了包管maven可以或许正常运行，先实行如下下令查抄整个应用步调的文件结构:

1. cd ~/sparkapp2
3. find

复制代码

   

文件结构如下图：

  

  

接着，我们可以通过如下代码将这整个应用步调打包成Jar(留意：电脑必要保持毗连网络的状态，而且初次运行同样下载依靠包，同样斲丧几分钟的时间):

/usr/local/maven/bin/mvn package

如出现下图，分析天生Jar包乐成：

通过spark-submit 运行步调

末了，可以通过将天生的jar包通过spark-submit提交到Spark中运行，如下下令：

/usr/local/spark/bin/spark-submit --class "SimpleApp" ~/sparkapp2/target/simple-project-1.0.jar
   假如 上面下令实行后会输出太多信息，可以不使用上面下令，而使用下面下令查察想要的效果
  /usr/local/spark/bin/spark-submit --class "SimpleApp" ~/sparkapp2/target/simple-project-1.0.jar 2>&1 | grep "Lines with a"
  

末了得到的效果如下:

Lines with a: 58, Lines with b: 26

扩展阅读

        假如想相识更多有关Spark的学习内容，请访问Spark快速入门指南 – Spark安装与根本使用,紧张对官方入门教程举行了翻译，可以资助读者快速入门Spark。