spark期末整理复习

目次
第二章：Scala底子
一.map（）方法
二.foreach（）方法
三.filter（）方法
四.flatten（）方法
五.flatMap（）方法
六.groupBy（）方法
第三章：Spark编程底子——RDD方法
一.map（）方法转换数据
二.SortBy（）方法举行排序
三.collect（）方法查询数据
四.flatMap（）方法转换数据
五.take（）方法查询某几个值
六.union（）方法归并多个RDD
七.filter（）方法举行过滤
八.distinct（）方法举行去重
九.intersection()方法
十.subtract（）方法
十一.cartesian（）方法
第四章：Spark编程进阶
一.用IDEA自带的打包方式

二. 用maven 项目中的插件来打包
第五章：Spark SQL——布局化数据文件处置惩罚
一.DataFrame简介
二.DataFrame的创建
三.DataFrame的常用操纵

---

第二章：Scala底子

一.map（）方法

map（）方法可通过一个函数重新盘算列表中的全部元素，而且返回一个包罗类似数目元素的新列表。比方，界说一个Int范例列表，列表中的元素为 1～5，利用 map（）方法对列表中的元素举行平方盘算。

二.foreach（）方法

foreach（）方法和 map（）方法类似，但是foreach（）方法没有返回值，只用于对参数的失举行输出。
三.filter（）方法

利用 filter（）方法可以移除传入函数的返回值为 false 的元素。
四.flatten（）方法

flatten（）方法可以将嵌套的布局睁开，即 flatten（）方法可以将一个二維的列表睁开成一个一维的列表。界说一个二维列表list，通过 flatten（）方法可以将 list 睁开为一维列表。
五.flatMap（）方法

flatMap()方法团结了 map()方法和 flatten()方法的功能，吸取一个可以处置惩罚嵌套列表的函数，再对返回结果举行毗连。

六.groupBy（）方法

groupBy ()方法可对聚集中的元素举行分组操纵，返回的结果是一个映射。对 1~10根据奇偶性举行分组，因此 groupBy ()方法传入的参数是一个盘算偶数的函数，得到的结果是一个映射，包罗两个键值对，键为 false 对应的值为奇数列表，键为true对应的值为偶数列表。

第三章：Spark编程底子——RDD方法

一.map（）方法转换数据

map()方法是一种底子的RDD转换操纵，可以对RDD中的每一个数据元素通过某种函数举行转换并返回新的RDD。map()方法是转换操纵，不会立即举行盘算。
转换操纵是创建RDD的第二种方法，通过转换已有RDD天生新的RDD。由于RDD是一个不可变的聚集，以是假如对RDD数据举行了某种转换，那么会天生一个新的RDD。

二.SortBy（）方法举行排序

sortBy()方法用于对尺度RDD举行排序，有3个可输入参数，阐明如下。
第1个参数是一个函数fT) => K，左边是要被排序对象中的每一个元素，右边返回的值是元素中要举行排序的值。
第2个参数是ascending，决定排序后RDD中的元素是升序的照旧降序的，默认是true，即升序排序，假如须要降序排序那么须要将参数的值设置为false。
第3个参数是numPartitions，决定排序后的RDD的分区个数，默认排序后的分区个数和排序之前的分区个数相称，即this.partitions.size。
第一个参数是必须输入的，而背面的两个参数可以不输入。

三.collect（）方法查询数据

collect()方法是一种举措操纵，可以将RDD中全部元素转换成数组并返回到Driver端，实用于返回处置惩罚后的少量数据。
由于须要从集群各个节点网络数据到本地，颠末网络传输，而且加载到Driver内存中，以是假如数据量比力大，会给网络传输造成很大的压力。
因此，数据量较大时，只管不利用collect()方法，否则大概导致Driver端出现内存溢出标题。

四.flatMap（）方法转换数据

flatMap()方法将函数参数应用于RDD之中的每一个元素，将返回的迭代器（如数组、列表等）中的全部元素构成新的RDD。
利用flatMap()方法时先辈行map（映射）再举行flat（扁平化）操纵，数据会先颠末跟map一样的操纵，为每一条输入返回一个