大数据技术

提供大数据技术学习,包括hadoop技术及其生态圈,能够让学生明白大数据是什么,如何使用大数据技术解决现实问题。

最新文章

Sqoop的安装与配置以及导入导出实例

Sqoop的安装与配置以及导入导出实例

一、下载Sqoop1)Sqoop官网:点击访问官网2)下载地址:Sqoop1.4.7版本下载这里我们选择目前最新版1.4.7版本下载二、安装与配置Sqoop1)我们将下好的sqoop上传到master主机的/usr/sqoop目录下(没有就新建),然后执行解压,由于原目录太长需要重命名下目录://解压tar -zxvf sqoop-1.……

潘老师 5个月前 (05-18) 635 ℃ (0)(12)

什么是Sqoop?它的工作机制是什么?

什么是Sqoop?它的工作机制是什么?

一、Sqoop是什么Sqoop是一种用于在Hadoop和结构化数据存储(如关系数据库)之间高效传输大批量数据的工具。它允许用户将数据从结构化存储器抽取到Hadoop中,用于进一步处理。例如,可以利用Sqoop从关系型数据库管理系统(如MySQL或者Oracle或者主机)向Hadoop分布式文件系统(HDFS)中导入数据,可以通过MapReduce处理这些……

潘老师 5个月前 (05-18) 939 ℃ (0)(1)

Flume日志采集工具入门简介

Flume日志采集工具入门简介

在大数据技术架构中,主要包括数据采集、数据存储、数据计算、数据分析、数据可视化等核心步骤。其中数据采集至关重要,只有将数据源的数据采集过来,才可以进行计算和分析等工作,但是由于数据源很分散,导致数据的收集变得越发复杂。目前的数据采集主要分为结构化数据采集和非结构化数据采集,采集的方式也略有区别,在此我们主要介绍非结构化数据采集工具Flume。一、什么是F……

潘老师 5个月前 (05-05) 622 ℃ (0)(5)

基于Java API访问操作HBase实例

基于Java API访问操作HBase实例

HBase Shell可以基于后台访问HBase,本节将介绍如何基于Java API远程访问操作HBase,实现创建表、增加数据合查询数据。以下代码实例基于HBase的完全分布式环境来展开的,具体的环境情况可参考:代码演示我们新建一个maven项目,在pom.xml中添加如下依赖:<dependency> <groupId&……

潘老师 6个月前 (04-30) 578 ℃ (0)(2)

HBase的常用shell操作

HBase的常用shell操作

本节内容我们主要讲解下HBase的常用shell操作。首先我我们要启动hbase:start-hbase.sh然后连接到hbase服务器:hbase shell接下来,我们执行一些常用的shell操作:1)创建表#语法格式create '表名称','列族名称1','……

潘老师 6个月前 (04-27) 594 ℃ (0)(6)