Ceph 存储运维完全指南 / 01 - Ceph 架构与概述

01 - Ceph 架构与概述

1.1 Ceph 简介

Ceph 是由 Sage Weil 在博士论文中提出的开源分布式存储系统，遵循 CRUSH（Controlled Replication Under Scalable Hashing） 算法，实现了无中心节点的去中心化数据分布。Ceph 由 Red Hat 主导开发，是 OpenStack、Kubernetes 等云平台的首选后端存储。

核心特性

版本演进

1.2 Ceph 统一存储架构

Ceph 的核心设计哲学是统一存储（Unified Storage），即通过一个集群同时提供三种存储接口：

                    ┌──────────────────────────────────────┐
                    │           Ceph 集群                   │
                    │                                      │
   ┌────────────┐  │  ┌────────┐  ┌────────┐  ┌────────┐  │
   │  RBD 块存储 │──│─→│  OSD   │  │  OSD   │  │  OSD   │  │
   │ (QEMU/K8s) │  │  │ Node 1 │  │ Node 2 │  │ Node 3 │  │
   └────────────┘  │  └────────┘  └────────┘  └────────┘  │
                    │       ↑          ↑          ↑        │
   ┌────────────┐  │  ┌──────────────────────────────────┐ │
   │ CephFS 文件 │──│─→│     RADOS (可靠自主分布式对象存储)  │ │
   │   存储      │  │  └──────────────────────────────────┘ │
   └────────────┘  │       ↑                               │
                    │  ┌──────────────────────────────────┐ │
   ┌────────────┐  │  │    MON (监控) + MGR (管理器)       │ │
   │  RGW 对象  │──│─→└──────────────────────────────────┘ │
   │  存储(S3)  │  │                                      │
   └────────────┘  └──────────────────────────────────────┘

三种存储接口对比

1.3 CRUSH 算法原理

CRUSH 是 Ceph 的灵魂，它是一种伪随机数据分布算法，通过计算而非查表来确定数据存放位置。

传统哈希 vs CRUSH

传统方式:   Client → 查元数据表 → 确定位置 → 访问数据
            (元数据服务器是瓶颈和单点故障)

CRUSH:      Client → CRUSH(placement_info) → 计算位置 → 直接访问数据
            (无中心节点，所有客户端独立计算出相同结果)

CRUSH 核心概念

数据映射流程

File → Object → (pool_id, object_id) → CRUSH(pgid) → [OSD1, OSD2, OSD3]
         ↑                ↑                    ↑
    文件拆分为对象    通过哈希确定 PG     CRUSH 计算 OSD 列表

# 查看 CRUSH Map
ceph osd getcrushmap -o /tmp/crushmap.bin
crushtool -d /tmp/crushmap.bin -o /tmp/crushmap.txt
cat /tmp/crushmap.txt

1.4 Ceph 集群核心组件

组件交互流程

1. Client 向 MON 获取最新 Cluster Map
2. Client 根据 CRUSH 算法计算数据位置
3. Client 直接与目标 OSD 通信读写数据
4. Primary OSD 负责复制到 Secondary OSDs
5. OSD 定期向 MON 汇报状态
6. MGR 收集指标供监控使用

1.5 适用场景与不适用场景

✅ 适用场景

❌ 不适用场景

1.6 Ceph vs MinIO 对比分析

选型建议

需要块存储/文件存储？ ──是──→ Ceph
        │
        否
        ↓
只需对象存储？
        │
        ├─ 规模 > 1PB 且有运维团队 → Ceph RGW
        │
        └─ 规模 < 1PB 且追求简单 → MinIO

1.7 业务场景示例

场景一：OpenStack 云平台

┌─────────────────────────────────┐
│         OpenStack               │
│  Nova ←→ Cinder ←→ Ceph RBD    │
│  Glance ←→ Ceph RBD            │
│  Swift ←→ Ceph RGW             │
└─────────────────────────────────┘

场景二：Kubernetes 持久化存储

# StorageClass 示例
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: ceph-rbd
provisioner: rbd.csi.ceph.com
parameters:
  clusterID: <cluster-id>
  pool: kubernetes
  imageFormat: "2"
  imageFeatures: layering
reclaimPolicy: Delete
allowVolumeExpansion: true

场景三：视频监控存储

摄像头 → NVR → Ceph RGW (S3 API) → 生命周期管理自动降级/删除
                                      ↓
                              30天后转低频存储
                              90天后自动删除

1.8 快速验证环境

# 使用 cephadm 快速创建测试集群（单节点）
sudo cephadm bootstrap --mon-ip 192.168.1.10

# 检查集群状态
sudo ceph -s

# 预期输出
#   cluster:
#     id:     xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx
#     health: HEALTH_OK
#
#   services:
#     mon: 1 daemons, quorum node1
#     mgr: node1.xxxx(active)
#
#   data:
#     pools:   1 pools, 1 pgs
#     objects: 0 objects, 0 B
#     usage:   0 B used, 0 B / 0 B avail
#     pgs:     1 active+clean

扩展阅读

1. Ceph 官方文档
2. CRUSH 论文原文
3. Ceph Architecture Deep Dive
4. Red Hat Ceph Storage Guide
5. 《Ceph 分布式存储实战》— 李志云 等著

下一章：02 - 安装与部署 — 学习使用 cephadm、手动部署、ROOK 等多种方式安装 Ceph 集群。