spark和Hadoop之间的对比与接洽

对比
盘算模子：
Hadoop：接纳MapReduce盘算模子，分map与reduce两个阶段，数据处理惩罚按阶段序次实行，数据处理惩罚按阶段序次实行，中央结果会写入磁盘，I/O开销大。
Spark：基于弹性分布式数据集，接纳有无环图实行引擎，能灵活调治任务，RDD可在内存中盘算和缓存，淘汰磁盘I/O,处理惩罚速度更快。
处理惩罚速度：
Hadoop：大量磁盘 I/O 操纵，在处理惩罚迭代盘算、交互式盘算等场景时，性能受限。
Spark ：内存盘算特性使其在迭代盘算（如呆板学习算法迭代 ）、交互式查询等场景下，相比 Hadoop 有明显速度上风，能快速处理惩罚数据。
应用场景：
Hadoop：侧重于大规模数据的离线存储和批处理惩罚，像日志分析、数据归档等场景。
Spark :除批处理惩罚外，在实时流处理惩罚（Spark Streaming ）、呆板学习（MLlib ）、图盘算（GraphX ）等方面应用广泛，实用于对实时性、交互性要求高的场景。
接洽
数据存储：Spark 可利用 Hadoop 的 HDFS（Hadoop Distributed File System ）作为底层数据存储体系。HDFS 为 Spark 提供了高可靠、可扩展的大规模数据存储本领，让 Spark 能处理惩罚海量数据。
生态体系：二者都属于 Apache 旗下大数据生态的告急构成部分，共享一些周边组件，如 YARN（Yet Another Resource Negotiator ）资源管理器，可用于同一管理和调治 Hadoop 集群与 Spark 作业的资源。
数据处理惩罚互补：Hadoop MapReduce 得当离线、批处理惩罚场景；Spark 在批处理惩罚基础上，更善于实时盘算、交互式盘算、内存盘算等场景。实际应用中，常将二者联合，比如用 Hadoop 举行数据存储和开端的批处理惩罚，再用 Spark 举行更复杂的数据分析发掘。