Hadoop大数据分析入门课程汇总

培训教学 潘老师 8个月前 (02-24) 1198 ℃ (0) 扫码查看

Hadoop大数据分析入门系列课程潘老师已经汇总如下:

初识大数据,了解大数据起源背景及其4V特点

1.大数据起源与背景 在了解大数据之前,我们先了解两个概念(摩尔定律和新摩尔定律): 摩尔定律是英特尔创始人之 […]


初识Hadoop,了解Hadoop起源背景及其生态圈

1.Hadoop起源于背景 Hadoop雏形开始于2002年的Apache的Nutch,是一个开源Java 实 […]

1)伪分布式环境搭建

Hadoop3.x伪分布式环境搭建图文详解教程,让你快速入门大数据开发

如果在你在网上搜Hadoop伪分布式环境搭建的教程,结果可谓五花八门,有的甚至漏洞百出,很难找到一篇非常详细的 […]


2)完全分布式环境搭建(授课电脑配置不够可以跳过)

Hadoop完全分布式环境搭建步骤

一.说明: 1、伪分布式环境是一台虚拟机,自身既是主节点又是从节点,即既是NameNode也是DataNode […]


NTP方式同步服务器时间,解决org.apache.hadoop.yarn.exceptions.YarnException: Unauthorized request to start container

一、存在的问题 Hadoop在完全分布式下多个虚拟主机协同运行时,我们需要保证所有主机的时间一致,如果服务器时 […]


Hadoop完全分布式开启日志聚合功能

一、说明 Container日志是hadoop各个container记录的日志,其中会包含错误或失败的重要信息 […]


windows配置hosts,实现通过主机名(域名)访问虚拟主机

我们之前在windows系统上通过浏览器访问虚拟主机服务器时,基本都是通过ip进行访问的,而如果是hadoop […]

什么是DFS?DFS介绍及其结构

1.DFS介绍 由于一台机器的存储容量有限,一旦数据量达到足够的级别,就需要将数据存放在多台机器上,这就是分布 […]


HDFS核心概念、优缺点及其执行原理

1.HDFS 的概念及体系结构 HDFS 是 Hadoop 自带的分布式文件系统,即 Hadoop Distr […]


Hadoop中HDFS 的常用命令

我们已经知道 HDFS 是分布式存储,可以存放大批量的文件,如果要对文件进行操作,可以通过下面的命令来完成,如 […]


HDFS应用—基于shell操作和基于Java API操作

1.基于 Shell 的操作 以下介绍一些我们在 Shell 中操作 HDFS 时经常用到的命令。 HDFS […]


基于Java API实现HDFS文件的操作

准备 使用Java API操作HDFS中文件主要涉及如下几个类: 1)Configuration类:该类的对象 […]

MapReduce概述、优缺点及其典型应用场景

1.概述 MapReduce是一种分布式计算模型,由Google提出,主要用于搜索领域,解决海量数据的计算问题 […]


MapReduce执行过程及运行原理详解

MapReduce执行过程及运行原理是非常复杂的,理解起来也极其困难,这也是许多同学在学习Hadoop过程中比 […]


MapReduce涉及类介绍及常用类型

1、常用类: 该类的作用是将输入的文件和数据分割成许多小的split文件,并将split的每个行通过LineR […]


Hadoop经典入门案例实战-WordCount单词统计代码实现及原理分析

Hadoop入门学习最经典的案例就是WordCount单词统计实战案例,这个案例可以帮你迅速理解hadoop中 […]


初步认识ETL,实现数据清洗入门案例

ETL,是Extract-Load-Transform的缩写,用来描述将数据从来源端经过抽取(extract) […]


Hadoop自定义对象序列化Writable和WritableComparable

自定义对象根据Key和Value分为二种情况 如果需要将自定义的bean放在value中传输,则实现Writa […]


Hadoop经典综合性案例—温度排序示例

温度排序示例是一个综合性比较强的Hadoop经典案例,除了基础的MapReduce,还有自定义序列化对象、分区 […]

Yarn是什么及其产生背景?为什么要使用Yarn?

1.YARN什么? YARN:(Yet Another Resources Negotiator): Hado […]


Yarn基本架构及其主要角色

1.基本架构 YARN是Hadoop2.0版本新引入的资源管理系统,直接从MR1演化而来。 将MP1中JobT […]


Yarn的工作流程

1、首先我们来看YARN工作流程图: 2、YARN工作流程注意包括以下几个步骤: 1.首先用户向YARN中的R […]


Yarn的三种调度策略

1.FIFO策略: 假设有两个任务,第一个是任务需要大量资源;第二个需要少量资源,但是紧急重要任务,此时第二个 […]

Hadoop实战案例—直播数据统计与分析

随着直播行业的崛起,大型互联网直播公司每日都会产生海量的直播数据,为了更好地服务主播与用户,提高直播质量与用户 […]

ZooKeeper是什么?它有哪些核心概念

一、ZooKeeper是什么? ZooKeeper由雅虎研究院开发,是Google Chubby的开源实现,后 […]


Linux如何安装Zookeeper(单机版和集群版模式)

第1步:环境准备 1)要在Linux上安装Zookeeper,首先我们要准备好系统环境,即先安装好Vmware […]


ZooKeeper常用指令及客户端连接相关操作

一、ZooKeeper常用指令 1)启动指令 zkServer.sh start 2)停止指令 zkServe […]


基于Java API访问ZooKeeper

我们可以使用Java API访问ZooKeeper,对ZooKeeper的节点进行一些必要的操作,下面我们一起 […]

什么是NoSQL非关系型数据库及与关系型数据库的区别

什么是NoSQL? NoSQL最常见的解释是“non-relational”, “Not Only SQL”也 […]


HBase简介及其数据模型详解

我们知道HDFS 是大型数据集分析处理的文件系统,具有高延迟的特点。它更倾向读取整个数据集而不是某条记录,因此 […]


HBase体系架构、组件及执行原理

本节内容主要介绍HBase体系架构中的各个组件,来看下每个组件的作用及组件之间是如何相互协作的,另外还介绍HB […]


HBase下载、安装与配置(单机版与完全分布式模式)

HBase官网下载 HBase官网下载地址:点击去下载 我们选择2.4.2版本的bin文件下载: HBase安 […]


HBase的常用shell操作

本节内容我们主要讲解下HBase的常用shell操作。首先我我们要启动hbase: start-hbase.s […]


基于Java API访问操作HBase实例

HBase Shell可以基于后台访问HBase,本节将介绍如何基于Java API远程访问操作HBase,实 […]

Flume日志采集工具入门简介

在大数据技术架构中,主要包括数据采集、数据存储、数据计算、数据分析、数据可视化等核心步骤。其中数据采集至关重要 […]


Flume安装与配置及Flume应用典型实例

一、Flume安装 1)下载 官网下载地址:http://flume.apache.org/download. […]


版权声明:本站所有文章,如无特殊说明,均为本站原创。全部下载资源版权归原作者所有。任何个人或组织,若未征得本站同意,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。若需转载请注明文章来源。
本文链接:Hadoop大数据分析入门课程汇总
喜欢 (3)
请潘老师喝杯Coffee吧!】
分享 (0)
用户头像
发表我的评论
取消评论
表情 贴图 签到 代码

Hi,您需要填写昵称和邮箱!

  • 昵称【必填】
  • 邮箱【必填】
  • 网址【可选】

您也可以 微信登录 来发表评论!