一、说明
Container日志是hadoop各个container记录的日志,其中会包含错误或失败的重要信息。如果没有打开日志聚合,默认是分布在各个nodemanager节点上的。如果打开了日志聚合选项,则会统一放在集中的位置(比如HDFS上)。Container日志会记录作业运行时会发生的各种运行时信息和错误,对于调试和调优有很大的帮助。
二、步骤
1.修改master的yarn-site.xml
配置,新增:
<property> <name>yarn.log-aggregation-enable</name> <value>true</value> </property> <property> <name>yarn.log-aggregation.retain-seconds</name> <value>2592000</value> </property> <property> <name>yarn.log.server.url</name> <value>http://192.168.217.100:19888/jobhistory/logs</value> </property>
配置参数说明:
配置名 | 描述 |
yarn.log-aggregation-enable | 是否启用日志聚合。 日志收集聚合 每个容器的日志,这些日志移动到文件系统 |
yarn.log-aggregation.retain-seconds | 日志保存时间 |
yarn.log.server.url | 为日志聚合服务器URL,可以用于网页访问查看日志信息 |
yarn.nodemanager.remote-app-log-dir | 日志存放目录(暂时不配。分为非高可用和高可用模式) |
2.将yarn-site.xml
远程copy到slave1和slave2
sudo scp -rq yarn-site.xml slave1:/usr/hadoop/hadoop-3.2.1/etc/hadoop/ sudo scp -rq yarn-site.xml slave2:/usr/hadoop/hadoop-3.2.1/etc/hadoop/
3.重启hadoop集群
4.在每个节点新增启动historyserver
进程
sbin/mr-jobhistory-daemon.sh start historyserver