Erasure-Coding | Q先生的世界

Posted by Q on Sunday, March 10, 2024

经典算法深度解析｜纠删码（案例排障篇）：repair 打满网络、degraded read 尾延迟飙升与 partial write 放大

纸面上能恢复，不等于线上不会出事故；真正麻烦的是故障期间系统会怎样失控

围绕四类典型线上问题拆解 EC 排障：repair 打满网络、degraded read 尾延迟飙升、同故障域共置、partial write 放大，分析症状、误判、根因与缓解手段。

Posted by Q on Sunday, March 3, 2024

经典算法深度解析｜纠删码（性能篇）：benchmark、NUMA、线程模型与 repair 限流

EC 真正的性能问题，往往不是单个核函数快不快，而是整条数据路径会不会被自己拖垮

从性能工程视角拆解 EC 的真实瓶颈：benchmark 设计、热点定位、NUMA、线程模型、批处理粒度、内存带宽、degraded read 与 repair 限流。

Posted by Q on Sunday, February 25, 2024

经典算法深度解析｜纠删码（源码篇）：最小 RS encoder/decoder 与 read-modify-write 伪代码

从公式走到代码，真正重要的是数据流、矩阵流和更新流怎么接起来

用最小可理解模型拆解 Reed-Solomon 的编码、解码和 partial write 更新路径，给出伪代码级别的 encoder、decoder、矩阵构造与 read-modify-write 流程。

Posted by Q on Sunday, February 18, 2024

经典算法深度解析｜纠删码（实现篇）：GF 运算、SIMD、full-stripe write 与小写更新路径

真正把 EC 跑快、跑稳、跑得可维护，难点往往不在公式，而在实现路径

从实现层面深入分析 EC：GF(2^8) 运算、查表与 SIMD、编码矩阵预处理、full-stripe write、read-modify-write、reconstruct-write、内存布局、流水线和性能瓶颈。

Posted by Q on Sunday, February 11, 2024

经典算法深度解析｜纠删码（实战篇）：Ceph、HDFS 与 Azure LRC 的实现取舍

同样是 EC，为什么不同系统会做出完全不同的工程选择

从系统实现视角对比 Ceph、HDFS 和 Azure LRC：数据模型、写入路径、条带布局、恢复策略、局部修复和元数据设计，理解 EC 在不同存储系统中的真实取舍。

Posted by Q on Sunday, February 4, 2024

经典算法深度解析｜纠删码（三）：条带布局、故障域、降级读与分布式存储里的工程落地

从编码函数到存储系统，还差放置策略、恢复编排与冷热分层

从系统工程视角拆解 EC 的落地问题：块放置、故障域隔离、机架感知、后台重建、读修复、冷热分层、小对象处理、混合冗余策略，以及对象存储与分布式文件系统中的典型取舍。

Posted by Q on Sunday, January 28, 2024

经典算法深度解析｜纠删码（二）：故障恢复、更新放大、修复带宽与 LRC 演进

会编码不等于适合生产，真正昂贵的是修复路径

深入分析 EC 在分布式存储中的恢复代价：单块重建、降级读、部分写、读改写、修复带宽、恢复并行度，以及 LRC、再生码等针对修复成本的优化路线。

Posted by Q on Sunday, January 21, 2024

经典算法深度解析｜纠删码（一）：从多副本到 Reed-Solomon、有限域与 MDS 本质

为什么分布式存储最终都要认真面对 EC，而不是只停留在三副本

从副本成本出发，系统理解纠删码的目标、条带模型、有限域运算、生成矩阵、Vandermonde 与 Cauchy 构造，以及 Reed-Solomon 为什么能成为分布式存储里的主流方案。

Posted by Q on Sunday, January 14, 2024

Q先生的世界

经典算法深度解析｜纠删码（架构选型篇）：什么时候该用三副本、RS、LRC，什么时候根本不该上 EC

真正成熟的选型，不是先问哪种码更高级，而是先问你的 workload 和组织能力到底配不配