Storage on Q先生的世界

经典存储对比｜LMDB 与 BoltDB：它们如何利用 mmap，以及为什么一个更偏 COW、一个更强调页式事务

Sun, 12 May 2024 00:00:00 +0000

经典存储对比｜LMDB 与 BoltDB：它们如何利用 mmap，以及为什么一个更偏 COW、一个更强调页式事务

前面两篇文章，我们已经分别把两个关键背景讲开了：

mmap 到底是什么，它为什么既诱人又危险
BoltDB 是怎么围绕 mmap、页结构和事务组织整个数据库运行时的

如果再往前走一步，一个很自然的问题就是：

经典系统排障｜FUSE 调试与排障：getattr 风暴、缓存、并发、权限与 macOS/Linux 差异

Sun, 14 Apr 2024 00:00:00 +0000

经典系统排障｜FUSE 调试与排障：getattr 风暴、缓存、并发、权限与 macOS/Linux 差异

上一篇文章，我们已经把最小 Go 文件系统接到了 FUSE 上，并真正走通了 ls、cat、touch 这些最基本的链路。

经典系统实践｜把 Go 文件系统接到 FUSE：真正挂载起来，并走通 ls/cat/touch 全链路

Sun, 07 Apr 2024 00:00:00 +0000

经典系统实践｜把 Go 文件系统接到 FUSE：真正挂载起来，并走通 ls/cat/touch 全链路

前面两篇，我们已经把这个最小 Go 文件系统做到了两个层次：

先实现了最小 on-disk filesystem，包含 superblock、inode、bitmap、directory entry 和 path walk
再补了一层最小 WAL / journal，让它在崩溃恢复语义上不再完全裸奔

到这里，其实你已经有了一个“能工作的本地文件系统引擎”。

经典系统实践｜给 Go 文件系统加上最小 WAL / Journal：事务边界、Redo Log 与崩溃恢复

Sun, 31 Mar 2024 00:00:00 +0000

经典系统实践｜给 Go 文件系统加上最小 WAL / Journal：事务边界、Redo Log 与崩溃恢复

上一篇文章，我们已经用 Go 搭了一个最小可理解文件系统骨架。

它已经有了：

superblock
inode table
block bitmap
data blocks
目录项
路径查找
最朴素的 create/read/write/delete

如果只在正常路径上跑，这个 toy filesystem 已经能说明很多问题。

经典系统实践｜用 Go 实现一个最小可理解文件系统：Superblock、inode、Bitmap 与目录树

Sun, 24 Mar 2024 00:00:00 +0000

经典系统实践｜用 Go 实现一个最小可理解文件系统：Superblock、inode、Bitmap 与目录树

上一篇文章，我们从对象存储研发工程师的角度，把文件系统里最容易在生产中踩坑的几个语义拆了一遍：

经典系统深度解析｜从对象存储研发工程师视角看文件系统：VFS、Page Cache、Journal 与崩溃一致性

Sun, 17 Mar 2024 00:00:00 +0000

经典系统深度解析｜从对象存储研发工程师视角看文件系统：VFS、Page Cache、Journal 与崩溃一致性

很多工程师做对象存储久了，会逐渐形成一种错觉：

我们做的是 object，不是 file
底层文件系统只是一个“本地持久化容器”
真正复杂的是副本、纠删码、数据分片、元数据服务和一致性协议

这几个判断都不能说错，但它们很容易让人忽略一个事实：

经典算法深度解析｜纠删码（架构选型篇）：什么时候该用三副本、RS、LRC，什么时候根本不该上 EC

Sun, 10 Mar 2024 00:00:00 +0000

经典算法深度解析｜纠删码（架构选型篇）：什么时候该用三副本、RS、LRC，什么时候根本不该上 EC

到了这一组文章的这个阶段，真正重要的问题已经不再是：

RS 是怎么编码的
repair 为什么会打满网络
partial write 为什么会放大

而是一个更根本、也更接近架构评审会的问题：

经典算法深度解析｜纠删码（案例排障篇）：repair 打满网络、degraded read 尾延迟飙升与 partial write 放大

Sun, 03 Mar 2024 00:00:00 +0000

经典算法深度解析｜纠删码（案例排障篇）：repair 打满网络、degraded read 尾延迟飙升与 partial write 放大

前面的几篇文章，我们已经把 EC 从原理、实现、性能一路讲得比较完整。

但只要它真的进了生产，最终最能教育人的往往不是公式，而是事故。

经典算法深度解析｜纠删码（性能篇）：benchmark、NUMA、线程模型与 repair 限流

Sun, 25 Feb 2024 00:00:00 +0000

经典算法深度解析｜纠删码（性能篇）：benchmark、NUMA、线程模型与 repair 限流

前面的几篇文章，已经把 EC 从原理一路讲到源码骨架。

但真正把它跑在生产里以后，很多团队最后遇到的并不是“不会编码”，而是：

为什么 benchmark 明明很好看，上线后吞吐还是上不去
为什么 CPU 还有余量，延迟却已经开始恶化
为什么 repair 一开，前台业务就被拖慢
为什么同一段 EC 代码，在两台机器上表现差很多

这类问题说明你已经跨过“算法能不能工作”，开始进入另一层更现实的工作：

经典算法深度解析｜纠删码（源码篇）：最小 RS encoder/decoder 与 read-modify-write 伪代码

Sun, 18 Feb 2024 00:00:00 +0000

经典算法深度解析｜纠删码（源码篇）：最小 RS encoder/decoder 与 read-modify-write 伪代码

前面的几篇文章，已经把纠删码讲到了实现层：

为什么它在数学上成立
为什么它在系统上会贵
为什么不同系统会做出不同取舍
为什么实现里会被 GF 运算、SIMD、full-stripe write 和 partial write 卡住

但很多工程师真正卡住的位置，其实还要再往下一层。

经典算法深度解析｜纠删码（实现篇）：GF 运算、SIMD、full-stripe write 与小写更新路径

Sun, 11 Feb 2024 00:00:00 +0000

经典算法深度解析｜纠删码（实现篇）：GF 运算、SIMD、full-stripe write 与小写更新路径

前面的几篇文章，已经把纠删码的三个主要层次搭起来了：

数学上为什么可行
系统上为什么会贵
不同存储系统为什么会做出不同取舍

但如果你真的开始写代码、接库、做 benchmark，很快会发现另一层现实：

经典算法深度解析｜纠删码（实战篇）：Ceph、HDFS 与 Azure LRC 的实现取舍

Sun, 04 Feb 2024 00:00:00 +0000

经典算法深度解析｜纠删码（实战篇）：Ceph、HDFS 与 Azure LRC 的实现取舍

前面三篇我们一直在讲两层内容：

EC 在数学上为什么成立
EC 在工程上为什么会贵

但真正把 EC 用到系统里以后，你会发现还有第三层现实：

同样都是纠删码，不同存储系统会做出完全不同的设计。

经典算法深度解析｜纠删码（三）：条带布局、故障域、降级读与分布式存储里的工程落地

Sun, 28 Jan 2024 00:00:00 +0000

经典算法深度解析｜纠删码（三）：条带布局、故障域、降级读与分布式存储里的工程落地

前两篇我们分别解决了两类问题：

EC 为什么成立，它的编码基础和 MDS 本质是什么
EC 为什么昂贵，恢复带宽、更新放大和局部修复优化到底在讲什么

系列文章：

讲到这里，如果你站在“算法理解”的角度，其实已经能把 Reed-Solomon 说清楚了。

经典算法深度解析｜纠删码（二）：故障恢复、更新放大、修复带宽与 LRC 演进

Sun, 21 Jan 2024 00:00:00 +0000

经典算法深度解析｜纠删码（二）：故障恢复、更新放大、修复带宽与 LRC 演进

上一篇我们把 EC 的理论骨架搭了起来：

为什么要从多副本走向 k+m
条带是什么
Reed-Solomon 本质上是有限域上的线性编码
MDS 的关键含义是任意 k 个块都能恢复原始数据

系列文章：

经典算法深度解析｜纠删码（一）：从多副本到 Reed-Solomon、有限域与 MDS 本质

Sun, 14 Jan 2024 00:00:00 +0000

经典算法深度解析｜纠删码（一）：从多副本到 Reed-Solomon、有限域与 MDS 本质

只要系统开始认真做存储，工程师迟早会面对一个非常现实的问题：

数据必须可靠
成本不能失控
故障恢复不能太慢
容量利用率还得说得过去

最直接的办法当然是多副本。