RGW 数据组织方式
基础概念object/part/一个 RGW Object 由 N 个 part 组成，每个 part 由 M 个 strip 组成。对于简单上传，我们认为 N 为 1， part number 为 0。对于分块上传，我们认为每块就是一个 part，part number 也是相对应的 1~N。
对
...
裸盘存储引擎的实现（一）
导读：如何打开、读写块设备。如何知道块设备大小以及设备属性？
什么是裸盘存储引擎单机存储引擎负责高效的组织数据、索引数据、保存数据，为上层应用提供易用的接口。有一类存储引擎为了得到更高的性能，会跨过文件系统这一层调用，直接操作裸盘。那么如何实现这类存储引擎呢？本文希望以 Ceph BlueStore
...
etcd-raft原理和使用
论文回顾先简单回顾下raft论文的主要内容以及raft的流程。
raft是一个一致性的协议，主要用来实现一个多副本的状态机，如下图：
状态机的初始状态一样，然后输入同样的命令序列，那么状态机的最终状态也是一样的。raft就是用来协商生成同样的日志序列。
raft主要流程raft主要是为了可理解性设
...
分布式存储系统如何支持纠删码
Ceph 介绍如果你已经比较熟悉 Ceph 的架构，可以直接跳到下一章。
Ceph 是一个去中心化的统一存储系统，同时支持对象、文件与块存储。整体的架构如上。RADOS 提供基于对象的基础存储语义，所有的服务都通过 librados 库来实现更高层级的存储语义，例如通过HTTP提供非结构化数据存储
...
分布式与存储领域的经典论文清单
对象存储系统[1] Finding a needle in Haystack: facebook’s photo storage
Facebook 的小文件存储解决方案，也是最经典的图片存储架构。
[2] Windows Azure Storage: a highly available cloud
...
ambari 实现与拓展
简介Apache旗下的一个分布式架构软件，主要作用是创建、管理、监控Hadoop集群（指的是Hadoop生态圈，如Hive、Hbase等），简而言之，Ambari就是为了让Hadoop及其相关的大数据软件更容易使用的一个工具。Ambari主要由两部分组成：Ambari Server 和 Ambari
...
Ceph RGW的身份验证代码概览
Ceph RGW的身份验证代码概览Ceph 12.2.2中的RGW的身份认证由rgw::auth::StrategyRegistry的一个Singleton统一管理，在rgw_main.cc中，由如下代码进行了初始化：
1234/* Initialize the registry of auth s
...
teuthology 介绍与实现
teuthology 基本概念一个集成测试的单位是 suite，一个 suite 由多个 task 组成。对于测试场景使用 yaml 文件来描述，例如 rados集成测试中的一个描述文件 ceph-qa-suite/suites/rados/basic/tasks/rados_striper.yam
...