标签:Hadoop入门案例

Hadoop实战案例—直播数据统计与分析

随着直播行业的崛起,大型互联网直播公司每日都会产生海量的直播数据,为了更好地服务主播与用户,提高直播质量与用户粘性,往往会对大量的数据进行分析与统计,从中挖掘商业价值,我们将通过一个实战案例,来使用Hadoop技术来实现对直播数据的统计与分析。一、直播数据准备我这里是简化过后的数据格式,大致如下:{"id":"1580……

Hadoop经典综合性案例—温度排序示例

温度排序示例是一个综合性比较强的Hadoop经典案例,除了基础的MapReduce,还有自定义序列化对象、分区、分组、自定义排序等相关知识,对于刚入门的同学来说,理解起来可能会稍有困难。一、案例任务说明假设有多年气温数据,如下:1949-10-01 14:21:02 341949-10-02 15:01:01 361949-10……

初步认识ETL,实现数据清洗入门案例

ETL,是Extract-Load-Transform的缩写,用来描述将数据从来源端经过抽取(extract)、(清洗)转换(transform)、加载(load)至目的端的过程,目的是将企业中的分散、零乱、标准不统一的数据整合到一起,为企业管理层的决策提供分析依据,ETL是BI(商业智能)项目重要的一个环节。下面潘老师通过一个简单的数据清洗案例,来带大家初……

Hadoop经典入门案例实战-WordCount单词统计代码实现及原理分析

Hadoop入门学习最经典的案例就是WordCount单词统计实战案例,这个案例可以帮你迅速理解hadoop中mapreduce执行过程及其原理。下面潘老师通过代码的实现并结合图文说明,给大家详解下具体内容。前期准备1、保证Hadoop伪分布式环境正常启动。如果还没有搭建好,请参考博文:Hadoop3.x伪分布式环境搭建图文详解教程,让你快速入门大数据开……

登录