典型的大型互联网应用系统使用了哪些技术方案和手段

本节课主要关注在系统架构设计，包含了传统系统的架构以及典型的互联网应用的系统架构。

一致性研究的是存储系统读写过程中信息的一致与冲突问题，分布式系统一致性实现与信息粒度，数据分步模型，一致性要求 等多个维度确认合适的方案

分布式和异步架构选型

短链服务其实比较简单，没有太多的业务逻辑，主要考察对于分布式系统常用设计的理解，也是经常被用在面试过程中的一道题。

分布式系统是一门讲究实践的软件工程，只有PK过设计方案，从微观处手把手的敲过一行行的代码，才能知道细节在哪里，难点在哪里，痛点、挑战点在哪里。同时，分布式系统也是一门讲究理论的软件工程，从宏观处着眼深刻理解系统设计的理论，将理论与实践相结合，

今天我们来拆解 Snowflake 算法，同时领略百度、美团、腾讯等大厂在全局唯一 ID 服务方面做的设计，接着根据具体需求设计一款全新的全局唯一 ID 生成算法。这还不够，我们会讨论到全局唯一 ID 服务的分布式 CAP 选择与性能瓶颈。

在面向对象编程有四个最高的思想，即“抽象、封装、继承与多态”，将这个思想迁移应用到本文，可以解读为架构思维是第8式“火箭技术思维模型”的以及第0式”设计总决“的继承，这里我把它定义为“火箭架构思维模型”。

ConcurrentHashMap，它在技术面试中出现的频率相当之高，所以我们必须对它深入理解和掌握。

本文是2020年深圳Qcon全球软件开发大会《专题：现代数据架构》专场、dbaplus专场：万亿级数据库MongoDB集群性能优化实践、mongodb2020年终盛会分享后，获得一致好评。本文收集了会后众多mongodb用户提的比较频繁的17个问题，并对每个问题进行了详细解

不要再使用 Join 查询了

搭建Mycat+Zookeeper+HAProxy+Keepalived+MySQL高可用架构实现MySQL的万亿级数据存储！！

MySQL主从复制不同方式的探索

性能优化，是存储工程师们永远的追求，在我们看来，除了调整存储架构、优化IO路径，能对应用做出有针对性的优化，也是非常重要和有意义的事情，这意味着，除了要了解存储本身，还需要对上层应用或中间件有足够的认识。这次，我们就来看看 MySQL 的 IO 特点和

前滴滴出行技术专家，现任OPPO文档数据库mongodb负责人，负责千万级峰值TPS/十万亿级数据量文档数据库mongodb研发和运维工作，一直专注于分布式缓存、高性能服务端、数据库、中间件等相关研发。后续持续分享《MongoDB内核源码设计、性能优化、最佳运维

前面几篇文章分析了如何阅读百万级大工程源码、Asio网络库、线程模型、套接字处理及传输层管理子模块、session会话子模块、Ticket数据收发、service_entry_point服务入口点子模块。本文将继续分析service_state_machine状态机调度子模块内核源码实现。

这是心的呼唤，这是爱的奉献

OBAgent 是一个监控采集框架。OBAgent 支持推、拉两种数据采集模式，可以满足不同的应用场景。

消息队列也叫 MQ(Message Queue)。Kafka作为消息队列中的优秀平台，被很多公司使用，是一种高吞吐量的分布式发布订阅消息系统，本篇给大家总结了27道Kafka知识点或者说面试题，都是基础的。持续更新中。。。

作者有幸在前些年主导并尝试使用hadoop大数据生态技术对传统车联网项目进行改造，取得了一些成果。本文对该项目进行复盘，聊聊大数据架构在车联网行业中的实践。

相对于单机版本的文件的读写，分布式文件的读写还是稍微的复杂点的，这篇文章就带你掌握分布式文件读写的原理

在Cassandra中，客户端可以是运行CQL命令的用户，也可以是使用不同语言Cassandra驱动连接到Cassandra的系统。Cassandra的无中心架构的主要优点之一是客户端可以连接到任意Cassandra节点。

分布式存储集群中的主节点存储的是元数据信息，那么这个元数据到底是存储在主节点的内存还是主节点的磁盘呢？原因又是什么呢？这篇文章带你掌握主节点中的元数据是怎么存储的

Apache Cassandra是一个开源、分布式、去中心化、弹性可伸缩、高可用、容错、可调一致性、面向行的数据库。它的分布式设计基于Amazon Dynamo，数据模型基于Google BigTable。Cassandra由Facebook创建，目前在Facebook、Twitter、Apple等各大IT企业落地使用。

数据库领域的热度目前逐渐从传统关系型数据库系统向分布式数据库系统转移，例如：擅长于分布式一致性、宽表分析的HBase；优势在高可用、线性扩展、海量查询的Cassandra；高度成熟的高可靠并适合于数据底座的HDFS；国内广泛应用且很成熟的全文搜索兼备海量存储

分布式存储是整个大数据技术的核心，也是基础，对分布式存储的原理和特点的深入理解是很有必要的，这篇文章我们站在原理的层面上来理解分布式存储的特点

分布式一致性的那些理论！

你知道 ClickHouse 为什么叫做 ClickHouse 吗.?

要解决分布式存储的问题，可以采用主从结构的分布式架构，那么主节点存储什么呢？从节点又存储什么呢？这篇文章带你掌握分布式存储集群的特点

在单台机器上进行计算理解起来很简单，但是如果是基于分布式存储分布式计算理解起来实际上也不难，这篇文章带你理解怎么样对分布式文件进行计算

Zookeeper 让分布式这个混乱的世界变得井然有序

随着数据日益膨胀，采用事件流处理数据至关重要。Apache Flink 将批流处理统一到计算引擎中，提供了一致化的编程接口。

传统上建设一个博客网站需要：一个反向代理Nginx、一个应用服务、一个数据库MySQL，就能建立起来标准的WEB站。 博客现在每天新增3000多的文章量，速度已经很慢，如果后期我要做一个app数据量肯定更大，到时该怎么保证访问速度，就要考虑架构的适量改进了。

那么通过这种思路，就能比关系型数据库的b/b+树索引在写的性能方面带来质的提升，而且对于局部热点，也就是近期数据带来惊人的查询性能，虽然全局范围的查询有所降低，数据段合并会带来的资源消耗(rocksdb通过多线程合并提升了这一过程的效率)

本文将深入解析 Apache Pulsar 中的事务，帮助读者熟悉 Pulsar 事务 API 的主要概念，以便后续使用。