大数据技术

提供大数据技术学习,包括hadoop技术及其生态圈,能够让学生明白大数据是什么,如何使用大数据技术解决现实问题。

最新文章

mysql性能监控指标有哪些?

mysql性能监控指标有哪些?

在mysql数据库存在高并发或者数量非常大的情况下,我们往往需要对它的性能进行监控,以防出现数据库运行缓慢或者无响应甚至崩溃等问题,那么mysql性能监控指标有哪些? 一、MySQL性能监控关键性指标 mysql性能监控涉及的指标可能多大上百个,我们主要关注监控四个方面的核心统计指标,如下: 针对这四大核心指标,我们分别解释下: 1、查询吞吐量 所谓吞吐量(……

潘老师 2年前 (2022-02-22) 3241 ℃ (0) (4)

Sqoop的安装与配置以及导入导出实例

Sqoop的安装与配置以及导入导出实例

一、下载Sqoop 1)Sqoop官网:点击访问官网 2)下载地址:Sqoop1.4.7版本下载 这里我们选择目前最新版1.4.7版本下载 二、安装与配置Sqoop 1)我们将下好的sqoop上传到master主机的/usr/sqoop目录下(没有就新建),然后执行解压,由于原目录太长需要重命名下目录: //解压 tar -zxvf sqoop-1.……

潘老师 3年前 (2021-05-18) 1733 ℃ (0) (13)

什么是Sqoop?它的工作机制是什么?

什么是Sqoop?它的工作机制是什么?

一、Sqoop是什么 Sqoop是一种用于在Hadoop和结构化数据存储(如关系数据库)之间高效传输大批量数据的工具。它允许用户将数据从结构化存储器抽取到Hadoop中,用于进一步处理。 例如,可以利用Sqoop从关系型数据库管理系统(如MySQL或者Oracle或者主机)向Hadoop分布式文件系统(HDFS)中导入数据,可以通过MapReduce处理这些……

潘老师 3年前 (2021-05-18) 2684 ℃ (0) (1)

Flume安装与配置及Flume应用典型实例

Flume安装与配置及Flume应用典型实例

一、Flume安装 1)下载 官网下载地址:http://flume.apache.org/download.html 这里我们下载1.9版本的: 2)上传至/usr/flume目录,然后执行如下指令解压: tar -zxvf apache-flume-1.9.0-bin.tar.gz 3)配置Flume的环境变量,在/etc/profile中新增……

潘老师 3年前 (2021-05-07) 1786 ℃ (0) (3)

Flume日志采集工具入门简介

Flume日志采集工具入门简介

在大数据技术架构中,主要包括数据采集、数据存储、数据计算、数据分析、数据可视化等核心步骤。其中数据采集至关重要,只有将数据源的数据采集过来,才可以进行计算和分析等工作,但是由于数据源很分散,导致数据的收集变得越发复杂。 目前的数据采集主要分为结构化数据采集和非结构化数据采集,采集的方式也略有区别,在此我们主要介绍非结构化数据采集工具Flume。 一、什么是F……

潘老师 3年前 (2021-05-05) 1686 ℃ (0) (5)

基于Java API访问操作HBase实例

基于Java API访问操作HBase实例

HBase Shell可以基于后台访问HBase,本节将介绍如何基于Java API远程访问操作HBase,实现创建表、增加数据合查询数据。以下代码实例基于HBase的完全分布式环境来展开的,具体的环境情况可参考: 代码演示 我们新建一个maven项目,在pom.xml中添加如下依赖: <dependency> <groupId&……

潘老师 3年前 (2021-04-30) 1740 ℃ (0) (2)

HBase的常用shell操作

HBase的常用shell操作

本节内容我们主要讲解下HBase的常用shell操作。首先我我们要启动hbase: start-hbase.sh 然后连接到hbase服务器: hbase shell 接下来,我们执行一些常用的shell操作: 1)创建表 #语法格式 create '表名称','列族名称1','……

潘老师 3年前 (2021-04-27) 1527 ℃ (0) (6)