Bootstrap
Hadoop集群搭建-01前期准备

整个搭建hadoop集群的流程,包括 前期准备 安装zookeeper并配置环境 编译安装hadoop并启动 安装HDFS管理namenode和dataname管理集群硬盘资源 安装启动yarn建立MapReduce管理cpu和内存资源

Apache HBase MTTR 优化实践:减少恢复时长

摘要:HBase是Hadoop Database的简称,是建立在Hadoop文件系统之上的分布式面向列的数据库,它具有高可靠、高性能、面向列和可伸缩的特性,提供快速随机访问海量数据能力。

Hadoop集群搭建-02安装配置Zookeeper

 这一篇接着记录集群搭建,开始安装配置zookeeper,它的作用是做集群的信息同步,zookeeper配置时本身就是一个独立的小集群,集群机器一般为奇数个,只要机器过半正常工作那么这个zookeeper集群就能正常工作,

Hadoop实战篇-集群版(2)

在上一篇的Hadoop实战篇介绍过了Hadoop-离线批处理技术的本地模式和伪集群模式安装,接下来继续学习 Hadoop 集群模式安装 作者 | WenasWei

ZooKeeper 分布式锁 Curator 源码 03:可重入锁并发加锁

在了解了加锁和锁重入之后,最需要了解的还是在分布式场景下或者多线程并发加锁是如何处理的?

ZK(ZooKeeper)分布式锁实现

点赞再看,养成习惯,微信搜索【牧小农】关注我获取更多资讯,风里雨里,小农等你。本文中案例都会在上传到git上,请放心浏览git地址:https://github.com/muxiaonong/ZooKeeper/tree/master/mxnzookeeper

ZooKeeper 分布式锁 Curator 源码 04:分布式信号量和互斥锁

分布式信号量,之前在 Redisson 中也介绍过,Redisson 的信号量是将计数维护在 Redis 中的,那现在来看一下 Curator 是如何基于 ZooKeeper 实现信号量的。

Apache HBase MTTR 优化实践:减少恢复时长

摘要:HBase是Hadoop Database的简称,是建立在Hadoop文件系统之上的分布式面向列的数据库,它具有高可靠、高性能、面向列和可伸缩的特性,提供快速随机访问海量数据能力。

Zookeeper面试题36问,再和面试官多聊半个点

很多中间件,都用到了 Zookeeper,比如大数据相关那一群小伙伴Kafka、Hadoop、HBase。作为一个分布式协同管理插件,Zookeeper被很多公司使用。又是一不得不学习的技术啊,给大家准备了36个知识点或者说面试题,又可以收藏一波了。

dubbo使用curator作为zk客户端优雅停机存在的问题

curator客户端关闭的时候存在的问题分析

【分布式技术专题】「Zookeeper系列」为大家介绍一下Zookeeper的"开发伴侣"—Curator-Framework(基础篇)

CuratorFramework是Netflix公司开源的一套Zookeeper客户端框架,它作为一款优秀的ZooKeeper客户端开源工具,主要提供了对客户端到服务的连接管理和连接重试机制,以及一些扩展功能,它解决了很多ZooKeeper客户端非常底层的细节开发工作。

ZooKeeper 分布式锁 Curator 源码 01:可重入锁

一般工作中常用的分布式锁,就是基于 Redis 和 ZooKeeper,前面已经介绍完了 Redisson 锁相关的源码,下面一起看看基于 ZooKeeper 的锁。也就是 Curator 这个框架。

zookeeper迁移实践

本文主要记录了zookeeper集群迁移到新节点的详细步骤,迁移过程中极易出错的地方以及如何避免,方便有需要的读者参考。

ZooKeeper分布式配置——看这篇就够了

ZooKeeper 分布式配置知多少

进大厂为何要学Zookeeper?

Zookeeper是一个开源的分布式协同服务系统,在业界的应用非常广泛,虽然最近几年有Consul、etcd、Nacos等分布式协同系统问世,但是Zookeeper依然是最主流的分布式协同服务系统。

架构师训练营第6周总结:数据库分片,Hbase和ZooKeeper

数据库分片,Cassandra, Hbase,ZooKeeper 介绍

Yarn RM写ZNode超数据量限制bug修复

Yarn RM写ZK ZNode的数据量超过限制,导致 RM 服务进入Standby状态,用户无法正常提交任务,整个集群hang住,后续排查发现是异常任务写ZNode数据量太大超过限制,为避免类似问题再次出现,对RM写ZNode逻辑进行了优化,规避异常任务对整个集群造成的雪崩效应。

zookeeper的数据模型详解

ZooKeeper的数据模型,在结构上和标准文件系统的非常相似,拥有一个层

大数据开发之zookeeper的数据与存储

​zk的数据模型是树结构,在内存数据库中,存储了整棵树的内容,包括所有的节点路径、节点数据、ACL信息,zk会定时将这个数据存储到磁盘上

大数据知识专栏 - Zookeeper的Shell操作

小马哥的每天大数据知识分享 - Zookeeper的Shell操作

zookeeper的watch机制

Zookeeper 是一个分布式协调服务的开源框架。 主要用来解决分布式集群中应用系统的一致性问题,例如怎样避免同时操作同一数据造成脏读的问题。

万字长文说透分布式锁

“分布式锁”这个问题快被说烂了,奈何笔者实在没有找到一个满意的答案,故记录自己寻找答案、总结的过程。分布式锁的设计涉及了许多分布式系统相关的问题,许多地方值得推敲,非常有意思。

Spring Cloud 微服务实践(8) - 部署

本文就 Spring Cloud 微服务项目的部署进行实践探索,没有DevOps那么高大上,但是对于测试环境或者小规模的生产环境来说,具有一定的借鉴意义。

还不会使用分布式锁?教你三种分布式锁实现的方式

​​​​​​摘要:在单进程的系统中,当存在多个线程可以同时改变某个变量时,就需要对变量或代码块做同步,使其在修改这种变量时能够线性执行消除并发修改变量,而同步本质上通过锁来实现。

微服务部署测试简单实践

一个简单的微服务部署测试说明书

Spring Cloud 微服务实践(8) - 部署

本文就 Spring Cloud 微服务项目的部署进行实践探索,没有DevOps那么高大上,但是对于测试环境或者小规模的生产环境来说,具有一定的借鉴意义。

万字长文说透分布式锁

“分布式锁”这个问题快被说烂了,奈何笔者实在没有找到一个满意的答案,故记录自己寻找答案、总结的过程。分布式锁的设计涉及了许多分布式系统相关的问题,许多地方值得推敲,非常有意思。

Zookeeper从入门到放弃之Zookeeper典型应用场景

今天来聊一下,Zookeeper的典型应用场景。

拜托,别再问我Zookeeper如何实现分布式锁了!

真是有人(锁)的地方就有江湖(事务),今天不谈江湖,来撩撩人。

深度剖析:Redis分布式锁到底安全吗?看完这篇文章彻底懂了!

那基于Zookeeper分布式锁安全吗?这篇文章也给你答案。

其他标签