大数据开发-Hadoop之深入MapReduce
文章目录
- MapReduce任务日志查看
- 停止Hadoop集群中的任务
- MapReduce程序扩展
- Shuffle过程详解
- Hadoop中的序列化机制
MapReduce任务日志查看
- 需要开启YARN的日志聚合功能,把散落在NodeManager节点上的日志统一收集管理,方便日志查看
[root@hadoop01 hadoop]# vim yarn-site.xml yarn.log-aggregation-enable true yarn.log.server.url http://192.168.52.100:19888/jobhistory/logs/ # 配置文件同步 [root@hadoop01 hadoop]# scp -rq yarn-site.xml hadoop02:/home/soft/hadoop-3.2.0/etc/hadoop/ [root@hadoop01 hadoop]# scp -rq yarn-site.xml hadoop03:/home/soft/hadoop-3.2.0/etc/hadoop/ # 重启服务 [root@hadoop01 hadoop-3.2.0]# sbin/stop-all.sh Stopping namenodes on [hadoop01] Last login: Wed Mar 6 09:30:03 CST 2024 from 192.168.52.1 on pts/1 Stopping datanodes Stopping secondary namenodes [hadoop01] Last login: Thu Mar 7 09:13:43 CST 2024 on pts/1 Stopping nodemanagers Last login: Thu Mar 7 09:13:47 CST 2024 on pts/1 Stopping resourcemanager Last login: Thu Mar 7 09:13:51 CST 2024 on pts/1 You have new mail in /var/spool/mail/root [root@hadoop01 hadoop-3.2.0]# jps 33464 Jps [root@hadoop01 hadoop-3.2.0]# sbin/start-all.sh Starting namenodes on [hadoop01] Last login: Thu Mar 7 09:13:54 CST 2024 on pts/1 Starting datanodes Last login: Thu Mar 7 09:14:16 CST 2024 on pts/1 Starting secondary namenodes [hadoop01] Last login: Thu Mar 7 09:14:18 CST 2024 on pts/1 Starting resourcemanager Last login: Thu Mar 7 09:14:24 CST 2024 on pts/1 Starting nodemanagers Last login: Thu Mar 7 09:14:31 CST 2024 on pts/1 [root@hadoop01 hadoop-3.2.0]# jps 33666 NameNode 34179 ResourceManager 34501 Jps 33935 SecondaryNameNode # 启动historyserver守护进程 [root@hadoop01 hadoop-3.2.0]# bin/mapred --daemon start historyserver You have new mail in /var/spool/mail/root [root@hadoop01 hadoop-3.2.0]# jps 33666 NameNode 34626 Jps 34179 ResourceManager 34569 JobHistoryServer 33935 SecondaryNameNode
停止Hadoop集群中的任务
假设任务执行到一半了,发现代码有漏洞,那么错误的代码没有必要再去执行,所以要给它停掉。
[root@hadoop01 hadoop-3.2.0]# yarn application -kill application_1709774078248_0001
MapReduce程序扩展
当数据只需要进行过滤、解析,不需要聚合的时候不需要reduce阶段,此时在job设置的时候将job.setNumReduceTasks(0);就可以了
Shuffle过程详解
Hadoop中的序列化机制
通过上图,影响MapReduce执行效率的主要原因是磁盘IO,如果想提高这个任务的执行效率,就需要对这方面进行优化。进行磁盘IO的时候都要对数据进行序列化和反序列化。
常见的实现
- Text等价于String的Writable,针对UTF-8序列
- NullWritable是单例,获取实例使用NullWritable.get()
Hadoop序列化机制的特点
- 紧凑:高效的存储控件
- 快速:读写数据的额外开销小
- 可扩展:可透明的读取老格式的数据
- 互操作:支持多语言的交互
Java序列化的不足之处
-
不精简,附加信息太多,不太适合随机访问
adoop序列化机制的特点
-
紧凑:高效的存储控件
-
快速:读写数据的额外开销小
-
可扩展:可透明的读取老格式的数据
-
互操作:支持多语言的交互
Java序列化的不足之处
- 不精简,附加信息太多,不太适合随机访问
- 存储空间大,递归地输出类的超类描述直到不再有超类
-
- 需要开启YARN的日志聚合功能,把散落在NodeManager节点上的日志统一收集管理,方便日志查看
文章版权声明:除非注明,否则均为主机测评原创文章,转载或复制请以超链接形式并注明出处。