大数据技术

提供大数据技术学习,包括hadoop技术及其生态圈,能够让学生明白大数据是什么,如何使用大数据技术解决现实问题。

最新文章

Sqoop的安装与配置以及导入导出实例

Sqoop的安装与配置以及导入导出实例

一、下载Sqoop 1)Sqoop官网:点击访问官网 2)下载地址:Sqoop1.4.7版本下载 这里我们选择目前最新版1.4.7版本下载 二、安装与配置Sqoop 1)我们将下好的sqoop上传到master主机的/usr/sqoop目录下(没有就新建),然后执行解压,由于原目录太长需要重命名下目录: //解压 tar -zxvf sqoop-1.……

潘老师 8个月前 (05-18) 842 ℃ (0) (13)

什么是Sqoop?它的工作机制是什么?

什么是Sqoop?它的工作机制是什么?

一、Sqoop是什么 Sqoop是一种用于在Hadoop和结构化数据存储(如关系数据库)之间高效传输大批量数据的工具。它允许用户将数据从结构化存储器抽取到Hadoop中,用于进一步处理。 例如,可以利用Sqoop从关系型数据库管理系统(如MySQL或者Oracle或者主机)向Hadoop分布式文件系统(HDFS)中导入数据,可以通过MapReduce处理这些……

潘老师 8个月前 (05-18) 1219 ℃ (0) (1)

Flume安装与配置及Flume应用典型实例

Flume安装与配置及Flume应用典型实例

一、Flume安装 1)下载 官网下载地址:http://flume.apache.org/download.html 这里我们下载1.9版本的: 2)上传至/usr/flume目录,然后执行如下指令解压: tar -zxvf apache-flume-1.9.0-bin.tar.gz 3)配置Flume的环境变量,在/etc/profile中新增……

潘老师 8个月前 (05-07) 916 ℃ (0) (3)

Flume日志采集工具入门简介

Flume日志采集工具入门简介

在大数据技术架构中,主要包括数据采集、数据存储、数据计算、数据分析、数据可视化等核心步骤。其中数据采集至关重要,只有将数据源的数据采集过来,才可以进行计算和分析等工作,但是由于数据源很分散,导致数据的收集变得越发复杂。 目前的数据采集主要分为结构化数据采集和非结构化数据采集,采集的方式也略有区别,在此我们主要介绍非结构化数据采集工具Flume。 一、什么是F……

潘老师 8个月前 (05-05) 848 ℃ (0) (5)

基于Java API访问操作HBase实例

基于Java API访问操作HBase实例

HBase Shell可以基于后台访问HBase,本节将介绍如何基于Java API远程访问操作HBase,实现创建表、增加数据合查询数据。以下代码实例基于HBase的完全分布式环境来展开的,具体的环境情况可参考: 代码演示 我们新建一个maven项目,在pom.xml中添加如下依赖: <dependency> <groupId&……

潘老师 9个月前 (04-30) 808 ℃ (0) (2)

HBase的常用shell操作

HBase的常用shell操作

本节内容我们主要讲解下HBase的常用shell操作。首先我我们要启动hbase: start-hbase.sh 然后连接到hbase服务器: hbase shell 接下来,我们执行一些常用的shell操作: 1)创建表 #语法格式 create '表名称','列族名称1','……

潘老师 9个月前 (04-27) 796 ℃ (0) (6)

HBase下载、安装与配置(单机版与完全分布式模式)

HBase下载、安装与配置(单机版与完全分布式模式)

HBase官网下载 HBase官网下载地址:点击去下载 我们选择2.4.2版本的bin文件下载: HBase安装与配置 具体配置可以参考官网说明文档:官方说明文档 1)我们在/usr目录下新建hbase目录 2)将hbase的tar包通过rz指令上传到hbase目录 3)使用如下指令解压tar包到当前文件夹 tar -zxvf hbase-2.4.2-……

潘老师 9个月前 (04-26) 1355 ℃ (0) (8)