Bootstrap
大白话彻底搞懂 HBase Rowkey 设计和实现方式

HBase由于它存储和读写的高性能,在OLAP即时分析中发挥着重要的作用。而RowKey作为HBase的核心知识点,其设计势必会影响到数据在HBase中的分布,还会影响我们查询效率,可以说RowKey的设计质量关乎了HBase的质量。

HBase 底层原理详解(深度好文,建议收藏)

HBase 是一个分布式的、面向列的开源数据库。建立在 HDFS 之上。Hbase的名字的来源是 Hadoop database,即 Hadoop 数据库。HBase 的计算和存储能力取决于 Hadoop 集群。

hbase运维故障案例分析

本章结合笔者的经验、列举真实生产线环境常见的几个问题,并介绍这些地问题的基本排查思路。同时,重点对HBase系统中的日志进行梳理介绍,最后对如何通过监控、日志等工具进行问题排查进行总结,形成问题排查套路,方便读者进行实践。

ZGC在合合信息HBase平台中的实践

HBase在合合信息支撑着如扫描全能王、启信宝等多个产品线的服务,在某些高敏场景中,GC的停顿毛刺会导致集群不可避免地产生一些读写毛刺,无法达成业务方的P9999的服务SLA。基于此我们为HBase引入了ZGC,磨平了GC毛刺,使HBase的读写性能攀上了一个新的台阶。

Hbase内核剖析

hbase是hadoop生态圈最常用也是使用最广泛的Nosql数据库,本文将对hbase的内核展开分析,一起了解一下hbase的底层实现原理。

如何实现一款毫秒级实时数据分析引擎

Boussole,多维数据实时分析系统,旨在通过低成本的方式支撑海量多维数据实时分析。

Hbase性能优化百科全书

本文集合了小编在日常学习和生产实践中遇到的使用Hbase中的各种问题和优化方法,分别从表设计、rowkey设计、内存、读写、配置等各个领域对Hbase常用的调优方式进行了总结,希望能对读者有帮助。

HBase常见问题

HBase在大数据技术领域中占据了重要的作用,整理了一些面试问题,大家收藏,文末可以获取PPT。

大数据开发之Hive表数据同步至HBase

​当我们需要从 Hive 或其他异构存储中往 HBase 里导入大批量数据的时候,走 HBase 原生 API 这种方式一定不是最合适的方案,一是数据同步的效率会比较低,大数据培训其次是数据的持续写入会导致集群频繁进行 flush,compaction 等操作,占用较多的系统资源。

hbase运维故障案例分析

本章结合笔者的经验、列举真实生产线环境常见的几个问题,并介绍这些地问题的基本排查思路。同时,重点对HBase系统中的日志进行梳理介绍,最后对如何通过监控、日志等工具进行问题排查进行总结,形成问题排查套路,方便读者进行实践。

大数据开发之Hbase面试题

Client写入 -> 存入MemStore,一直到MemStore满 -> Flush成一个StoreFile,直至增长到一定阈值 -> 触发Compact合并操作 -> 多个StoreFile合并成一个StoreFile,同时进行版本合并和数据删除 -> 当StoreFiles Compact后,逐步形成越来越大的StoreFile -> 单个S

工作日志:一文总结HBase从搭建到实操,大家一起进步

公司的大数据部门一直是我非常想要进入的地带,纯粹个人爱好,但是因为当时大数据部门成立选拔人的时候,就是个小渣渣,所以完美错过,后悔脸,奉劝新人,别嫌弃累,能多学一点是一点,天知道你啥时候会有机会晋升,这次,因为部门整合,我们这边也需要分担一

HBase HA 分布式部署

Hadoop NameNode QJM 高可用+HBase HMaster 主备

带你了解 HBase 数据模型和 HBase 架构

​​摘要:HBase 是一个面向列的 NoSQL 数据库。

用太极拳讲分布式理论,真舒服!

我把 CAP 理论称作太极,ACID 理论称为阳或刚,BASE 理论称为阴或柔。ACID 理论追求一致性,BASE 理论本来就叫做柔性事务,追求的是可用性。那张无忌为什么会全忘了还打败了玄冥二老呢?因为太极拳的精髓是拳意,无招胜有招。

ZGC在合合信息HBase平台中的实践

HBase在合合信息支撑着如扫描全能王、启信宝等多个产品线的服务,在某些高敏场景中,GC的停顿毛刺会导致集群不可避免地产生一些读写毛刺,无法达成业务方的P9999的服务SLA。基于此我们为HBase引入了ZGC,磨平了GC毛刺,使HBase的读写性能攀上了一个新的台阶。

hbase运维故障案例分析

本章结合笔者的经验、列举真实生产线环境常见的几个问题,并介绍这些地问题的基本排查思路。同时,重点对HBase系统中的日志进行梳理介绍,最后对如何通过监控、日志等工具进行问题排查进行总结,形成问题排查套路,方便读者进行实践。

hbase运维故障案例分析

本章结合笔者的经验、列举真实生产线环境常见的几个问题,并介绍这些地问题的基本排查思路。同时,重点对HBase系统中的日志进行梳理介绍,最后对如何通过监控、日志等工具进行问题排查进行总结,形成问题排查套路,方便读者进行实践。

HBase HA 分布式部署

Hadoop NameNode QJM 高可用+HBase HMaster 主备

如何实现一款毫秒级实时数据分析引擎

Boussole,多维数据实时分析系统,旨在通过低成本的方式支撑海量多维数据实时分析。

用DeBug的方式,带你掌握HBase文件在Snapshot的各种变化

摘要:掌握Snapshot可以帮助我们很好的完成HBase数据备份和数据迁移的工作。

分布式系统的一些基础理论

分布式系统中使用到的一些基本理论

用DeBug的方式,带你掌握HBase文件在Snapshot的各种变化

摘要:掌握Snapshot可以帮助我们很好的完成HBase数据备份和数据迁移的工作。

大白话彻底搞懂 HBase Rowkey 设计和实现方式

HBase由于它存储和读写的高性能,在OLAP即时分析中发挥着重要的作用。而RowKey作为HBase的核心知识点,其设计势必会影响到数据在HBase中的分布,还会影响我们查询效率,可以说RowKey的设计质量关乎了HBase的质量。

实战大数据,HBase 性能调优指南

HBase 中 row key 用来检索表中的记录,支持以下三种方式:

架构师训练营第6周总结:数据库分片,Hbase和ZooKeeper

数据库分片,Cassandra, Hbase,ZooKeeper 介绍

Apache HBase MTTR 优化实践:减少恢复时长

摘要:HBase是Hadoop Database的简称,是建立在Hadoop文件系统之上的分布式面向列的数据库,它具有高可靠、高性能、面向列和可伸缩的特性,提供快速随机访问海量数据能力。

Apache HBase MTTR 优化实践:减少恢复时长

摘要:HBase是Hadoop Database的简称,是建立在Hadoop文件系统之上的分布式面向列的数据库,它具有高可靠、高性能、面向列和可伸缩的特性,提供快速随机访问海量数据能力。

海量小文件存储系统HOS探索与实践

对象存储业界较为普遍解决方案,一是对小文件进行合并处理,二是构建高速缓存;HBase2.0之后支持的MOB新特性可以满足中小对象存储的需求 ,决定基于HBase MOB特性遵循AWS S3接口规范开发HOS(Hbase Object Storage)服务。

HBase 底层原理详解(深度好文,建议收藏)

HBase 是一个分布式的、面向列的开源数据库。建立在 HDFS 之上。Hbase的名字的来源是 Hadoop database,即 Hadoop 数据库。HBase 的计算和存储能力取决于 Hadoop 集群。

hbase运维故障案例分析

本章结合笔者的经验、列举真实生产线环境常见的几个问题,并介绍这些地问题的基本排查思路。同时,重点对HBase系统中的日志进行梳理介绍,最后对如何通过监控、日志等工具进行问题排查进行总结,形成问题排查套路,方便读者进行实践。

内存总是不够?HBase&GeoMesa配置优化了解一下

生产环境HBase集群内存经常处于高位(90%),而且GC之后也是内存依然处于高位,经分析内存全部由集群的regionserver进程所持有,,经常重启之后,大概3-4天就会保持在高位。由上述症状,可以判断集群内存有泄露的嫌疑。

如何设计高效的HBase数据模型

从学习和使用HBase的经历中,整理出队普通使用者而言,需要了解的HBase基础知识,Mark一下。

如何优雅的理解HBase和BigTable

彻底理解 HBase 的概念,就这一篇

其他标签