Spark 之 Cache

数据当地性

1. object TaskLocality extends Enumeration {
2.   // Process local is expected to be used ONLY within TaskSetManager for now.
3.   val PROCESS_LOCAL, NODE_LOCAL, NO_PREF, RACK_LOCAL, ANY = Value
5.   type TaskLocality = Value
7.   def isAllowed(constraint: TaskLocality, condition: TaskLocality): Boolean = {
8.     condition <= constraint
9.   }
10. }

复制代码

  

• PROCESS_LOCAL：
  

要处置惩罚的数据在同一个当地历程，
即数据和Task在同一个Excutor JVM中。
这种情况是RDD的数据颠末缓存，此时不须要网络传输，是最优locality。(但是数据要先缓存)。

  

• NODE_LOCAL：
  

（1）数据和Task在同一节点上的差异executor中；
（2）数据HDFS和Task在同一个结点上，
此时须要举行历程间举行传输，速率比PROCESS_LOCAL略慢。

  

• NO_PREF：
  

数据从哪访问都一样，相当于没有数据当地性，一样平常值从外部数据源读取数据。

  

• RACK_LOCAL：
  

数据与Task在同机架的差异节点