spark的缓存

2. object Cache {
3.   // spark的缓存
4.   // 1. cache()
5.   // 2. persist()
6.   //    cache()是persist()的一种特殊情况，默认只使用内存
8.   def main(args: Array[String]): Unit = {
9.     //创建spark
10.     val conf = new SparkConf().setAppName("Cache").setMaster("local[*]")
11.     val sc = new SparkContext(conf)
13.     sc.setLogLevel("WARN")
15.     // 创建一个包含大量随机数的RDD
16.     val rdd = sc.parallelize(1 to 10000000).map(_ => scala.util.Random.nextInt(100))
18.     //定义一个复杂的转换函数
19.     def complexTransformation(x: Int): Int = {
20.       var result = x
21.       for (i <- 1 to 1000) {
22.         result = result * 2 % 100
23.       }
24.       result
25.     }
27.     // val rdd1 = rdd.map(complexTransformation)
29.     // 缓存rdd
30.     //val rdd1 = rdd.map(complexTransformation).cache()
32.     // persist
33.     val rdd1 = rdd.map(complexTransformation).persist(StorageLevel.DISK_ONLY)
35.     // 第一次触发行动算子，计算并统计消耗的时间
36.     val startTime = System.currentTimeMillis()
37.     val rs1 = rdd1.count()
38.     val endTime = System.currentTimeMillis()
39.     println(s"第一次计算结果：$rs1，耗时：${endTime - startTime}毫秒")
41.     // 第一次触发行动算子，计算并统计消耗的时间
42.     val startTime1 = System.currentTimeMillis()
43.     val rs2 = rdd1.count()
44.     val endTime1 = System.currentTimeMillis()
45.     println(s"第二次计算结果：$rs2，耗时：${endTime1 - startTime1}毫秒")
46.   }
47. }

复制代码

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。

继续阅读请点击广告