Erasure-Coding on Q先生的世界

经典算法深度解析｜纠删码（架构选型篇）：什么时候该用三副本、RS、LRC，什么时候根本不该上 EC

Sun, 10 Mar 2024 00:00:00 +0000

经典算法深度解析｜纠删码（架构选型篇）：什么时候该用三副本、RS、LRC，什么时候根本不该上 EC

到了这一组文章的这个阶段，真正重要的问题已经不再是：

RS 是怎么编码的
repair 为什么会打满网络
partial write 为什么会放大

而是一个更根本、也更接近架构评审会的问题：

经典算法深度解析｜纠删码（案例排障篇）：repair 打满网络、degraded read 尾延迟飙升与 partial write 放大

Sun, 03 Mar 2024 00:00:00 +0000

经典算法深度解析｜纠删码（案例排障篇）：repair 打满网络、degraded read 尾延迟飙升与 partial write 放大

前面的几篇文章，我们已经把 EC 从原理、实现、性能一路讲得比较完整。

但只要它真的进了生产，最终最能教育人的往往不是公式，而是事故。

经典算法深度解析｜纠删码（性能篇）：benchmark、NUMA、线程模型与 repair 限流

Sun, 25 Feb 2024 00:00:00 +0000

经典算法深度解析｜纠删码（性能篇）：benchmark、NUMA、线程模型与 repair 限流

前面的几篇文章，已经把 EC 从原理一路讲到源码骨架。

但真正把它跑在生产里以后，很多团队最后遇到的并不是“不会编码”，而是：

为什么 benchmark 明明很好看，上线后吞吐还是上不去
为什么 CPU 还有余量，延迟却已经开始恶化
为什么 repair 一开，前台业务就被拖慢
为什么同一段 EC 代码，在两台机器上表现差很多

这类问题说明你已经跨过“算法能不能工作”，开始进入另一层更现实的工作：

经典算法深度解析｜纠删码（源码篇）：最小 RS encoder/decoder 与 read-modify-write 伪代码

Sun, 18 Feb 2024 00:00:00 +0000

经典算法深度解析｜纠删码（源码篇）：最小 RS encoder/decoder 与 read-modify-write 伪代码

前面的几篇文章，已经把纠删码讲到了实现层：

为什么它在数学上成立
为什么它在系统上会贵
为什么不同系统会做出不同取舍
为什么实现里会被 GF 运算、SIMD、full-stripe write 和 partial write 卡住

但很多工程师真正卡住的位置，其实还要再往下一层。

经典算法深度解析｜纠删码（实现篇）：GF 运算、SIMD、full-stripe write 与小写更新路径

Sun, 11 Feb 2024 00:00:00 +0000

经典算法深度解析｜纠删码（实现篇）：GF 运算、SIMD、full-stripe write 与小写更新路径

前面的几篇文章，已经把纠删码的三个主要层次搭起来了：

数学上为什么可行
系统上为什么会贵
不同存储系统为什么会做出不同取舍

但如果你真的开始写代码、接库、做 benchmark，很快会发现另一层现实：

经典算法深度解析｜纠删码（实战篇）：Ceph、HDFS 与 Azure LRC 的实现取舍

Sun, 04 Feb 2024 00:00:00 +0000

经典算法深度解析｜纠删码（实战篇）：Ceph、HDFS 与 Azure LRC 的实现取舍

前面三篇我们一直在讲两层内容：

EC 在数学上为什么成立
EC 在工程上为什么会贵

但真正把 EC 用到系统里以后，你会发现还有第三层现实：

同样都是纠删码，不同存储系统会做出完全不同的设计。

经典算法深度解析｜纠删码（三）：条带布局、故障域、降级读与分布式存储里的工程落地

Sun, 28 Jan 2024 00:00:00 +0000

经典算法深度解析｜纠删码（三）：条带布局、故障域、降级读与分布式存储里的工程落地

前两篇我们分别解决了两类问题：

EC 为什么成立，它的编码基础和 MDS 本质是什么
EC 为什么昂贵，恢复带宽、更新放大和局部修复优化到底在讲什么

系列文章：

讲到这里，如果你站在“算法理解”的角度，其实已经能把 Reed-Solomon 说清楚了。

经典算法深度解析｜纠删码（二）：故障恢复、更新放大、修复带宽与 LRC 演进

Sun, 21 Jan 2024 00:00:00 +0000

经典算法深度解析｜纠删码（二）：故障恢复、更新放大、修复带宽与 LRC 演进

上一篇我们把 EC 的理论骨架搭了起来：

为什么要从多副本走向 k+m
条带是什么
Reed-Solomon 本质上是有限域上的线性编码
MDS 的关键含义是任意 k 个块都能恢复原始数据

系列文章：

经典算法深度解析｜纠删码（一）：从多副本到 Reed-Solomon、有限域与 MDS 本质

Sun, 14 Jan 2024 00:00:00 +0000

经典算法深度解析｜纠删码（一）：从多副本到 Reed-Solomon、有限域与 MDS 本质

只要系统开始认真做存储，工程师迟早会面对一个非常现实的问题：

数据必须可靠
成本不能失控
故障恢复不能太慢
容量利用率还得说得过去

最直接的办法当然是多副本。