文
章
目
录
章
目
录
一、说明
Container日志是hadoop各个container记录的日志，其中会包含错误或失败的重要信息。如果没有打开日志聚合，默认是分布在各个nodemanager节点上的。如果打开了日志聚合选项，则会统一放在集中的位置（比如HDFS上）。Container日志会记录作业运行时会发生的各种运行时信息和错误，对于调试和调优有很大的帮助。
二、步骤
1.修改master的yarn-site.xml配置，新增：
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>2592000</value>
</property>
<property>
<name>yarn.log.server.url</name>
<value>http://192.168.217.100:19888/jobhistory/logs</value>
</property>
配置参数说明：
| 配置名 | 描述 |
| yarn.log-aggregation-enable | 是否启用日志聚合。 日志收集聚合 每个容器的日志,这些日志移动到文件系统 |
| yarn.log-aggregation.retain-seconds | 日志保存时间 |
| yarn.log.server.url | 为日志聚合服务器URL，可以用于网页访问查看日志信息 |
| yarn.nodemanager.remote-app-log-dir | 日志存放目录(暂时不配。分为非高可用和高可用模式) |
2.将yarn-site.xml远程copy到slave1和slave2
sudo scp -rq yarn-site.xml slave1:/usr/hadoop/hadoop-3.2.1/etc/hadoop/ sudo scp -rq yarn-site.xml slave2:/usr/hadoop/hadoop-3.2.1/etc/hadoop/
3.重启hadoop集群
4.在每个节点新增启动historyserver进程
sbin/mr-jobhistory-daemon.sh start historyserver
