标签:大数据

如何在上亿级别用户中检查用户名是否存在?

本文主要讲解关于在面试过程中被面试官问,如何在上亿级别用户中检查用户名是否存在相关内容,如此大的数据量确实是非常有挑战性的一个 面试题,让我们来一起看下该使用什么解决方案吧! 前言 不知道大家有没有留意过,在使用一些app或者网站注册的时候,提示你用户名已经被占用了,需要更换一个,而且响应速度很快,这是如何实现的呢?你可能想这不是很简单吗,去数据库里查一下有……

docker-compose 如何快速部署 EFAK

本文主要讲解关于docker-compose 如何快速部署 EFAK 相关内容,让我们来一起学习下吧! 一、概述 EFAK(Eagle For Apache Kafka,以前称为 Kafka Eagle)是一款由国内公司开源的Kafka集群监控系统,可以用来监视kafka集群的broker状态、Topic信息、IO、内存、consumer线程、偏移量等信息,……

JS开发的扁平式标签云文字特效模板代码

JS开发的扁平式标签云文字特效模板代码是一款当鼠标悬停某个标签时,当前标签就会自动静止,移出后恢复滚动效果。本模板主要基于js、css和html开发的,整体简洁明了,效果很好。 效果 核心代码 <div class="wrapper"> <p>没有发现任何关注内容<br/>此处为您显示检索历史</p>……

MySQL如何删除大数据量表数据

本文主要讲解关于MySQL如何删除大数据量表数据相关内容,让我们来一起了解下吧! Mysql大数据量删除 在一些操作中,可能需要清理一下积压的数据,如果数据量小的话自然没有问题,但是如果是个大数据量的问题,那么就该考虑一个合适的办法了。 在清理大数据量的时候需要考虑是清理部分数据还是清理所有数据,这两种场景有着不同的策略。 注意:本次测试与方法均针对mysq……

SpringBoot实现回调函数获取分页查询结果

本文主要讲解关于SpringBoot如何实现回调函数获取分页查询结果相关内容,让我们来一起学习下吧! 简介: 在大数据量场景下,为了提高查询效率和减少内存占用,通常需要对数据进行分页查询。本文介绍了一个基于 Spring Boot 框架的数据分页查询的实现方法。 1. 引言 随着数据量的增加,对大规模数据的查询和处理成为一项重要的任务。 传统的一次性加载全……

如何排查Kafka消息丢失原因

本文主要讲解关于如何排查Kafka消息丢失原因相关内容,让我们来一起学习下吧! Apache Kafka 被广泛应用于各种企业众多的大数据和实时数据流场景。无论在日志收集还是流数据处理上,我们都希望消息传递可以100%可靠地运行。但实际上,如同任何系统一样,Kafka在极端条件下可能会出现消息丢失的问题。那么,这究竟是在什么情况下可能发生信息丢失呢? 一、生……

xxl-job分布式任务调度框架详解

本文重点讲解xxl-job分布式任务框架相关知识内容,我们来一起学习下吧! XXL-JOB是什么? 官方定义是这样的:XXL-JOB是一个分布式任务调度平台,其核心设计目标是开发迅速、学习简单、轻量级、易扩展。现已开放源代码并接入多家公司线上产品线,开箱即用。 xxl-job主要解决什么问题? xxl-job主要用于解决分布式定时任务问题。 Quartz、e……

Java操作Excel的3种方式

本文主要讲解关于Java如何优雅的操作Excel相关内容,其中包含Java操作Excel的3种方式,让我们来一起学习下吧! 在Java开发中,我们经常需要读取或写入Excel文件。市面上有很多操作Excel的工具库,今天来介绍三个我在项目中用过的库,他们分别是:POI、JExcelAPI和EasyExcel,它们让你能够优雅的完成Excel操作! 这里我们只……

MySQL集群部署详解

本文主要讲解关于MySQL集群部署相关内容,让我们来一起学习下吧! 为什么需要MySQL集群部署 原因:单节点的MySQL抗风险性很差,如果挂掉,会导致软件项目挂掉 目标:搭建一个高可用、高负载、高性能的6节点MySQL集群(根据你的数据量判断) 环境:CentOS7服务器、搭建好Docker环境、MySQL5.7(8.0版本宕机后需要人工对比日志和维护)、……

如何安装MyCat并管理MySQL集群

本文主要讲解如何安装MyCat并管理MySQL集群,让我们来一起学习下吧! 1. 什么是MyCat MyCat是一个彻底开源的,面向企业应用开发的大数据库集群。它是一个实现了MySQL协议的服务器,前端用户可以把它看作是一个数据库代理,用MySQL客户端工具和命令行访问,而其后端可以用MySQL原生协议与多个MySQL服务器通信,也可以用JDBC协议与大多数……

40k+ 的全栈架构师面试经历分享

本文来自掘金用户【代码与野兽】的面试40k+的全栈架构师相关经历分享。 最近面了家拿了千万美金投资的初创公司,可能我投的简历比较具有独特性,所以他们的首席架构师开场也比较直接。 “我们需要招募一位技术能力非常全面的人才,希望精通前后端主流技术,并且拥有架构师经验。” “没问题,我觉得我们应该还是比较匹配的。” 我还是一如既往的自信。 架构师挺客气,和我说他姓……

Java使用Lists.partition指定长度拆分List集合

在Java编程中,经常会遇到需要将一个大的List集合拆分成多个小的List的情况。这种操作在处理大数据集合或者进行分页查询时非常有用。Java的Lists.partition方法是Guava库提供的一个非常方便的工具,可以帮助你快速地将一个List集合按照指定的长度拆分成多个子List。本文将介绍如何使用Lists.partition来完成这个任务。 Gu……