腾讯云存储团队
腾讯云存储团队

专注于分布式存储领域的技术分享


  • 首页

  • 关于

  • 标签

  • 分类

  • 归档

RGW 数据组织方式

发表于 2018-09-14 |
基础概念object/part/一个 RGW Object 由 N 个 part 组成,每个 part 由 M 个 strip 组成。对于简单上传,我们认为 N 为 1, part number 为 0。对于分块上传,我们认为每块就是一个 part,part number 也是相对应的 1~N。 对 ...
阅读全文 »

裸盘存储引擎的实现(一)

发表于 2018-09-14 |
导读:如何打开、读写块设备。如何知道块设备大小以及设备属性? 什么是裸盘存储引擎单机存储引擎负责高效的组织数据、索引数据、保存数据,为上层应用提供易用的接口。有一类存储引擎为了得到更高的性能,会跨过文件系统这一层调用,直接操作裸盘。那么如何实现这类存储引擎呢?本文希望以 Ceph BlueStore ...
阅读全文 »

etcd-raft原理和使用

发表于 2018-09-14 |
论文回顾先简单回顾下raft论文的主要内容以及raft的流程。 raft是一个一致性的协议,主要用来实现一个多副本的状态机,如下图: 状态机的初始状态一样,然后输入同样的命令序列,那么状态机的最终状态也是一样的。raft就是用来协商生成同样的日志序列。 raft主要流程raft主要是为了可理解性设 ...
阅读全文 »

分布式存储系统如何支持纠删码

发表于 2018-03-02 |
Ceph 介绍如果你已经比较熟悉 Ceph 的架构,可以直接跳到下一章。 Ceph 是一个去中心化的统一存储系统,同时支持对象、文件与块存储。整体的架构如上。RADOS 提供基于对象的基础存储语义,所有的服务都通过 librados 库来实现更高层级的存储语义,例如通过HTTP提供非结构化数据存储 ...
阅读全文 »

分布式与存储领域的经典论文清单

发表于 2018-03-02 |
对象存储系统[1] Finding a needle in Haystack: facebook’s photo storage Facebook 的小文件存储解决方案,也是最经典的图片存储架构。 [2] Windows Azure Storage: a highly available cloud ...
阅读全文 »

ambari 实现与拓展

发表于 2018-03-02 | 分类于 ambari |
简介Apache旗下的一个分布式架构软件,主要作用是创建、管理、监控Hadoop集群(指的是Hadoop生态圈,如Hive、Hbase等),简而言之,Ambari就是为了让Hadoop及其相关的大数据软件更容易使用的一个工具。Ambari主要由两部分组成:Ambari Server 和 Ambari ...
阅读全文 »

Ceph RGW的身份验证代码概览

发表于 2018-03-02 |
Ceph RGW的身份验证代码概览Ceph 12.2.2中的RGW的身份认证由rgw::auth::StrategyRegistry的一个Singleton统一管理,在rgw_main.cc中,由如下代码进行了初始化: 1234/* Initialize the registry of auth s ...
阅读全文 »

teuthology 介绍与实现

发表于 2018-01-26 | 分类于 ceph |
teuthology 基本概念一个集成测试的单位是 suite,一个 suite 由多个 task 组成。对于测试场景使用 yaml 文件来描述,例如 rados集成测试中的一个描述文件 ceph-qa-suite/suites/rados/basic/tasks/rados_striper.yam ...
阅读全文 »
腾讯云存储团队

腾讯云存储团队

专注于分布式存储领域的技术分享

8 日志
2 分类
9 标签
© 2018 腾讯云存储团队
由 Hexo 强力驱动
|
主题 — NexT.Muse v5.1.3