Hadoop自定义对象序列化Writable和WritableComparable

大数据技术 潘老师 3年前 (2021-02-24) 1367 ℃ (0) 扫码查看

自定义对象根据Key和Value分为二种情况

1. bean放在value中传输

如果需要将自定义的bean放在value中传输,则实现Writable接口,自定义的bean实现 的接口应该是:

public class  FlowBean  implements   Writable<FlowBean> 
2 . bean放在key中传输

如果需要将自定义的bean放在key中传输,则实现WritableComparable接口,因为mapreduce框中的shuffle过程一定会对key进行排序,此时,自定义的 bean实现的接口应该是:

public class  FlowBean  implements  WritableComparable<FlowBean> 

WritableComparable源码:

public interface WritableComparable<T> extends Writable, Comparable<T> {}

这两种自定义类型,我们会在后面的案例中有具体使用。


版权声明:本站文章,如无说明,均为本站原创,转载请注明文章来源。如有侵权,请联系博主删除。
本文链接:https://www.panziye.com/java/bigdata/1944.html
喜欢 (2)
请潘老师喝杯Coffee吧!】
分享 (0)
用户头像
发表我的评论
取消评论
表情 贴图 签到 代码

Hi,您需要填写昵称和邮箱!

  • 昵称【必填】
  • 邮箱【必填】
  • 网址【可选】