MapReduce涉及类介绍及常用类型

Hadoop 潘老师 4个月前 (02-24) 284 ℃ (0) 扫码查看
文章目录[隐藏]

1、常用类:

InputFormat类:

该类的作用是将输入的文件和数据分割成许多小的split文件,并将split的每个行通过LineRecorderReader解析成,通过job.setInputFromatClass()函数来设置,默认的情况为类TextInputFormat,其中Key默认为字符偏移量,value是该行的值。

Mapper类:

根据输入的对生成中间结果,默认的情况下使用Mapper类,该类将输入的对原封不动的作为中间按结果输出,通过job.setMapperClass()实现。实现Map函数。

Combine类:

实现combine函数,该类的主要功能是合并相同的key键,通过job.setCombinerClass()方法设置,默认为null,不合并中间结果。实现map函数

Partitioner类:

该该主要在Shuffle过程中按照Key值将中间结果分成R份,其中每份都有一个Reduce去负责,可以通过job.setPartitionerClass()方法进行设置,默认的使用hashPartitioner类。实现getPartition函数

Reducer类:

将中间结果合并,得到中间结果。通过job.setReduceCalss()方法进行设置,默认使用Reducer类,实现reduce方法。

OutPutFormat类:

该类负责输出结果的格式。可以通过job.setOutputFormatClass()方法进行设置。默认使用TextOUtputFormat类,得到对。

2、数据类型:

MapReduce涉及类介绍及常用类型


版权声明:本站所有文章,如无特殊说明,均为本站原创。全部下载资源版权归原作者所有。任何个人或组织,若未征得本站同意,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系潘老师进行处理。
喜欢 (0)
请潘老师喝杯Coffee吧!】
分享 (0)

您必须 微信登录 才能发表评论!