我们之前在windows系统上通过浏览器访问虚拟主机服务器时，基本都是通过ip进行访问的，而如果是hadoop集群情况，或有N多个虚拟主机，每个虚拟主机如果都通过ip访问会很麻烦，也很难记，因此，我们可以通过配置，实现windows可以通过主机名（或域名）访问虚拟主机。步骤1.在C盘windows文件中找到System32-->drivers-->etc……

一、说明Container日志是hadoop各个container记录的日志，其中会包含错误或失败的重要信息。如果没有打开日志聚合，默认是分布在各个nodemanager节点上的。如果打开了日志聚合选项，则会统一放在集中的位置（比如HDFS上）。Container日志会记录作业运行时会发生的各种运行时信息和错误，对于调试和调优有很大的帮助。二、步骤1……

一、存在的问题Hadoop在完全分布式下多个虚拟主机协同运行时，我们需要保证所有主机的时间一致，如果服务器时间不同步，在完全分布式环境下运行代码时可能会出现如下异常：再次先补充Linux中查看当前主机时间指令：date二、解决步骤：采用NTP(Network Time Protocol)方式来实现, 选择一台机器, 作为集群的时间同步服务……

一.说明：1、伪分布式环境是一台虚拟机，自身既是主节点又是从节点，即既是NameNode也是DataNode2、完全分布式环境，需要多台虚拟机，这里我们使用一主两从配置3、我们这里的分布式环境搭建基于之前的伪分布式master主机二、具体步骤之前搭建伪分布式时，已经有了一台master虚拟主机，现在再安装两台虚拟主机分别为slave1、salve2……

Hadoop大数据分析入门系列课程潘老师已经汇总如下：第1部分：初步认识第2部分：环境准备第3部分：HDFS分布式存储第4部分：MapReduce分布式计算第5部分：YARN资源调度第6部分：直播数据分析实战……

1.FIFO策略：假设有两个任务，第一个是任务需要大量资源；第二个需要少量资源，但是紧急重要任务，此时第二个需要等待第一个执行完，才能执行第二个。1）由于顺序执行任务，如果第一个是大量资源，后续任务需要等待。2）没有做到资源共享。2.容量调度策略：1）属于共享调度策略。2）将集群资源，给队列分配部分资源，每个队列互不干涉某个队列突然来个大的……

1、首先我们来看YARN工作流程图：2、YARN工作流程注意包括以下几个步骤：1.首先用户向YARN中的ResouceManager提交应用程序,包括用户程序、启动ApplicationMaster命令和ApplicationMaster程序等。2.ResourceManager为该应用程序分配Container，随后与Container所在的Nod……

1.基本架构YARN是Hadoop2.0版本新引入的资源管理系统，直接从MR1演化而来。将MP1中JobTracker的资源管理和作业调度两个功能分开，分别由ResourceManager和ApplicationMaster进程来实现。 1）ResourceManager：负责整个集群的资源管理和调度。 2）ApplicationMaster：负……

1.YARN什么？YARN：（Yet Another Resources Negotiator）: Hadoop2.0以后版本提供的job调度和分布式资源管理框架（运算资源调度系统）2.YARN产生背景在旧版本的MapReduce中的JobTracker/TaskTracker在可扩展性、消耗内存、可靠性和线程模型方面存在很多问题，需要开发者做很多调整……