大数据实行四-MapReduce编程实践

一．实行内容

MapReduce编程实践：
利用MapReduce实现多个文本文件中WordCount词频统计功能，实行编写Map处置惩罚逻辑、编写Reduce处置惩罚逻辑、编写main方法。
二．实行目的

1、通过实行把握根本的MapReduce编程方法。
2、实现统计HDFS体系中多个文本文件中的单词出现频率。

三．实行过程截图及阐明

1、在当地创建多个文本文件并上传到Hadoop：

（1）创建当地存放文件的文件夹：

（2）利用vim下令向文件里添加内容：
创建3个文件（words1.txt、words2.txt、words3.txt）：

（3）在Hadoop里创建存放文件的目次：

（4）将当地的3个文件上传到Hadoop上【put下令】：

2、编写java代码来利用读取文件并统计：

（1）启动idea【我这里是用下令打开，你也可直接点图标打开】：
下令是：先切换到你安装idea的目次内里的bin目次，然后输入./idea.sh，不知道是输入什么的可以先输入./i，然后按下tab就会有提示，你就可以继续输入了。

（2）目次结构【这里只必要创建MapReduce即可，前面的是前次的两个实行】：

（3）编写log4j.properties文件：

（4）引入必要用到的依靠：

引入跋文得点右边浮现出的Maven标记，下载一下依靠，大概右键恣意空缺处，找到Maven选项，然后reload。
（5）编写Mapper处置惩罚逻辑：

（6）编写Reducer处置惩罚逻辑：

（7）编写main函数驱动模块：

（8）运行main函数方法：

（9）运行乐成后查察输出文件内容：

统计效果无误，试验完成。

四. 实行总结及心得了解

实行总结：
本实行利用了MapReduce框架实现了多个文本文件中的WordCount词频统计功能。通过编写Map处置惩罚逻辑，将每个文本文件中的单词举行拆分并统计数量。在Reduce处置惩罚逻辑中，对雷同的单词举行归并统计，并输出最闭幕果。在main方法中，设置了作业的设置信息、任务范例、输入输出路径等。实行效果展示了MapReduce在大数据处置惩罚范畴的高效性和可靠性。在实际应用中，可以根据需求对代码举行优化，进步性能。

心得了解：
1. MapReduce是一种强大的分布式盘算模子，可以资助我们高效地处置惩罚大规模数据。通过本次实行，我把握了MapReduce的根本概念和编程实践，对分布式盘算有了更深入的相识。
2. 在实行过程中，我学会了怎样编写Map和Reduce逻辑，以及怎样设置MapReduce运行情况。这为我以后处置惩罚类似标题时提供了实用的技能。
3. 实行让我熟悉到，分布式盘算并非万能。在实际应用中，我们必要根据数据规模和盘算需求来选择符合的盘算框架。这对于我以后在项目中选择符合的盘算技能具有紧张意义。
4. 通过本次实行，我对Hadoop框架有了开端相识。在将来的学习中，我会继续探索Hadoop的干系技能，以进步数据处置惩罚本事和扩展知识面。
5. 末了，本次实行进步了我的编程本事和动手实践本事。通过不绝地编写代码和调试，我把握了更多实用的编程本事，为以后的学习和工作打下了坚固的底子。

五、完备陈诉获取在开头资源挂载里。