Hadoop

提供hadoop技术学习,能够快速入门大数据,并进而拓展到整合hadoop生态圈技术。

最新文章

Sqoop的安装与配置以及导入导出实例

Sqoop的安装与配置以及导入导出实例

一、下载Sqoop1)Sqoop官网:点击访问官网2)下载地址:Sqoop1.4.7版本下载这里我们选择目前最新版1.4.7版本下载二、安装与配置Sqoop1)我们将下好的sqoop上传到master主机的/usr/sqoop目录下(没有就新建),然后执行解压,由于原目录太长需要重命名下目录://解压tar -zxvf sqoop-1.……

潘老师 4周前 (05-18) 288 ℃ (0)(11)

什么是Sqoop?它的工作机制是什么?

什么是Sqoop?它的工作机制是什么?

一、Sqoop是什么Sqoop是一种用于在Hadoop和结构化数据存储(如关系数据库)之间高效传输大批量数据的工具。它允许用户将数据从结构化存储器抽取到Hadoop中,用于进一步处理。例如,可以利用Sqoop从关系型数据库管理系统(如MySQL或者Oracle或者主机)向Hadoop分布式文件系统(HDFS)中导入数据,可以通过MapReduce处理这些……

潘老师 4周前 (05-18) 466 ℃ (0)(1)

Flume日志采集工具入门简介

Flume日志采集工具入门简介

在大数据技术架构中,主要包括数据采集、数据存储、数据计算、数据分析、数据可视化等核心步骤。其中数据采集至关重要,只有将数据源的数据采集过来,才可以进行计算和分析等工作,但是由于数据源很分散,导致数据的收集变得越发复杂。目前的数据采集主要分为结构化数据采集和非结构化数据采集,采集的方式也略有区别,在此我们主要介绍非结构化数据采集工具Flume。一、什么是F……

潘老师 1个月前 (05-05) 277 ℃ (0)(5)

基于Java API访问操作HBase实例

基于Java API访问操作HBase实例

HBase Shell可以基于后台访问HBase,本节将介绍如何基于Java API远程访问操作HBase,实现创建表、增加数据合查询数据。以下代码实例基于HBase的完全分布式环境来展开的,具体的环境情况可参考:代码演示我们新建一个maven项目,在pom.xml中添加如下依赖:<dependency> <groupId&……

潘老师 2个月前 (04-30) 189 ℃ (0)(2)