Distributed-System on Q先生的世界

经典算法深度解析｜纠删码（架构选型篇）：什么时候该用三副本、RS、LRC，什么时候根本不该上 EC

Sun, 10 Mar 2024 00:00:00 +0000

经典算法深度解析｜纠删码（架构选型篇）：什么时候该用三副本、RS、LRC，什么时候根本不该上 EC

到了这一组文章的这个阶段，真正重要的问题已经不再是：

RS 是怎么编码的
repair 为什么会打满网络
partial write 为什么会放大

而是一个更根本、也更接近架构评审会的问题：

经典算法深度解析｜纠删码（案例排障篇）：repair 打满网络、degraded read 尾延迟飙升与 partial write 放大

Sun, 03 Mar 2024 00:00:00 +0000

经典算法深度解析｜纠删码（案例排障篇）：repair 打满网络、degraded read 尾延迟飙升与 partial write 放大

前面的几篇文章，我们已经把 EC 从原理、实现、性能一路讲得比较完整。

但只要它真的进了生产，最终最能教育人的往往不是公式，而是事故。

经典算法深度解析｜纠删码（性能篇）：benchmark、NUMA、线程模型与 repair 限流

Sun, 25 Feb 2024 00:00:00 +0000

经典算法深度解析｜纠删码（性能篇）：benchmark、NUMA、线程模型与 repair 限流

前面的几篇文章，已经把 EC 从原理一路讲到源码骨架。

但真正把它跑在生产里以后，很多团队最后遇到的并不是“不会编码”，而是：

为什么 benchmark 明明很好看，上线后吞吐还是上不去
为什么 CPU 还有余量，延迟却已经开始恶化
为什么 repair 一开，前台业务就被拖慢
为什么同一段 EC 代码，在两台机器上表现差很多

这类问题说明你已经跨过“算法能不能工作”，开始进入另一层更现实的工作：

经典算法深度解析｜纠删码（源码篇）：最小 RS encoder/decoder 与 read-modify-write 伪代码

Sun, 18 Feb 2024 00:00:00 +0000

经典算法深度解析｜纠删码（源码篇）：最小 RS encoder/decoder 与 read-modify-write 伪代码

前面的几篇文章，已经把纠删码讲到了实现层：

为什么它在数学上成立
为什么它在系统上会贵
为什么不同系统会做出不同取舍
为什么实现里会被 GF 运算、SIMD、full-stripe write 和 partial write 卡住

但很多工程师真正卡住的位置，其实还要再往下一层。

经典算法深度解析｜纠删码（实现篇）：GF 运算、SIMD、full-stripe write 与小写更新路径

Sun, 11 Feb 2024 00:00:00 +0000

经典算法深度解析｜纠删码（实现篇）：GF 运算、SIMD、full-stripe write 与小写更新路径

前面的几篇文章，已经把纠删码的三个主要层次搭起来了：

数学上为什么可行
系统上为什么会贵
不同存储系统为什么会做出不同取舍

但如果你真的开始写代码、接库、做 benchmark，很快会发现另一层现实：

经典算法深度解析｜纠删码（实战篇）：Ceph、HDFS 与 Azure LRC 的实现取舍

Sun, 04 Feb 2024 00:00:00 +0000

经典算法深度解析｜纠删码（实战篇）：Ceph、HDFS 与 Azure LRC 的实现取舍

前面三篇我们一直在讲两层内容：

EC 在数学上为什么成立
EC 在工程上为什么会贵

但真正把 EC 用到系统里以后，你会发现还有第三层现实：

同样都是纠删码，不同存储系统会做出完全不同的设计。

经典算法深度解析｜纠删码（三）：条带布局、故障域、降级读与分布式存储里的工程落地

Sun, 28 Jan 2024 00:00:00 +0000

经典算法深度解析｜纠删码（三）：条带布局、故障域、降级读与分布式存储里的工程落地

前两篇我们分别解决了两类问题：

EC 为什么成立，它的编码基础和 MDS 本质是什么
EC 为什么昂贵，恢复带宽、更新放大和局部修复优化到底在讲什么

系列文章：

讲到这里，如果你站在“算法理解”的角度，其实已经能把 Reed-Solomon 说清楚了。

经典算法深度解析｜纠删码（二）：故障恢复、更新放大、修复带宽与 LRC 演进

Sun, 21 Jan 2024 00:00:00 +0000

经典算法深度解析｜纠删码（二）：故障恢复、更新放大、修复带宽与 LRC 演进

上一篇我们把 EC 的理论骨架搭了起来：

为什么要从多副本走向 k+m
条带是什么
Reed-Solomon 本质上是有限域上的线性编码
MDS 的关键含义是任意 k 个块都能恢复原始数据

系列文章：

经典算法深度解析｜纠删码（一）：从多副本到 Reed-Solomon、有限域与 MDS 本质

Sun, 14 Jan 2024 00:00:00 +0000

经典算法深度解析｜纠删码（一）：从多副本到 Reed-Solomon、有限域与 MDS 本质

只要系统开始认真做存储，工程师迟早会面对一个非常现实的问题：

数据必须可靠
成本不能失控
故障恢复不能太慢
容量利用率还得说得过去

最直接的办法当然是多副本。

经典算法深度解析｜Raft：从复制状态机到领导者选举、日志复制与线性一致性

Sun, 07 Jan 2024 00:00:00 +0000

经典算法深度解析｜Raft：从复制状态机到领导者选举、日志复制与线性一致性

如果你学过分布式系统，大概率已经反复看到过这样一句话：

共识很难，而 Raft 的目标是把它讲清楚。

这句话并不只是宣传语。

在很长一段时间里，很多工程师第一次接触共识算法时，面对的往往是 Paxos。一方面，Paxos 在理论上极其重要；另一方面，它对很多初学者来说，确实不太“顺手”。不是因为它不严谨，而是因为它的叙述方式更偏证明导向，系统工程视角不够直接。于是很多人学完以后，依然很难回答下面这些问题：

BoltDB 源码分析（三）：提交、freelist 与崩溃恢复

Sun, 31 Dec 2023 00:00:00 +0000

BoltDB 源码分析（三）：提交、freelist 与崩溃恢复

前两篇我们已经把静态结构拆开了：

DB、Tx、meta、mmap 如何搭起运行时框架
page、node、Bucket、Cursor 如何表达一棵可读可写的 B+Tree

最后这一篇进入 BoltDB 最有“数据库味”的部分：

BoltDB 源码分析（二）：B+Tree、Bucket 与 Cursor

Sun, 24 Dec 2023 00:00:00 +0000

BoltDB 源码分析（二）：B+Tree、Bucket 与 Cursor

上一篇我们把外层地基搭起来了：

DB 如何管理文件、mmap 和事务
meta 如何定义整个数据库的当前版本
只读事务为什么只是拿一个 root 视图
写事务为什么必须单线程串行

这一篇我们进入真正存数据的地方：B+Tree 本体。

BoltDB 源码分析（一）：事务、mmap 与文件格式

Sun, 26 Nov 2023 00:00:00 +0000

BoltDB 源码分析（一）：事务、mmap 与文件格式

很多人第一次接触 BoltDB，通常是因为 etcd 或者某个 Go 项目里出现了它的名字。再进一步，大家很快会记住几个标签：

经典论文深度解析｜Time, Clocks, and the Ordering of Events in a Distributed System

Sun, 22 Oct 2023 00:00:00 +0000

为什么这篇论文值得反复读

如果只能选一篇真正奠定分布式系统思维方式的论文，Leslie Lamport 在 1978 年发表的 Time, Clocks, and the Ordering of Events in a Distributed System 一定在候选名单里，而且大概率排在最前面。

这篇论文的伟大，不在于它发明了一个复杂算法，而在于它把一个很多人直觉上模糊理解的问题，第一次讲清楚了：