对象存储与 S3

对象存储是半个互联网背后默默干活的主力:每一张上传的照片、视频、备份和静态资源,几乎都躺在像 Amazon S3、Google Cloud Storage 或 Azure Blob 这样的对象存储里。它就是我们 Google Drive 和 Pastebin 设计里用来卸载字节的那个持久、近乎无限的"桶"。它与数据库或文件系统的不同,在于一组刻意的约束——扁平命名空间、不可变对象、HTTP API——用便利换来近乎无限的扩展性和持久性。

对象 vs 块 vs 文件存储

存储有三种范式,选对象存储意味着你是有意接受它的模型:

块存储是裸磁盘(适合数据库的文件);文件存储是可挂载的共享层级(适合老应用)。对象存储放弃了原地编辑和真正的目录树,换来无限扩展和简单的网络 API——非常适合写一次、读多次的字节块。

对象的构成与扁平命名空间

一个对象是三样东西:数据(字节)、唯一的 key(它在桶内的名字)和元数据(内容类型、大小、自定义标签)。关键在于命名空间是扁平的——没有真正的文件夹。像 2023/09/photo.jpg 这样的 key 看着是层级,但斜杠只是 key 里的字符;"文件夹"是按公共前缀列举 key 时由界面制造出来的便利。正是这种扁平让系统能扩展:没有目录树要遍历或加锁,只有一张巨大的分布式 key→字节块的映射。

HTTP API

你用普通的 HTTP 动词对一个 key 操作:

PUT    /my-bucket/2023/09/photo.jpg     # 上传(已存在则替换)
GET    /my-bucket/2023/09/photo.jpg     # 下载
DELETE /my-bucket/2023/09/photo.jpg     # 删除
GET    /my-bucket?prefix=2023/09/       # 按前缀列举 key(分页)

# 大文件:分段上传(并行、可断点续传)
initiate → upload part 1..N (并行) → complete

两个模式在大规模下很关键。分段上传把大对象切成多个分片并行上传、服务端再拼起来——对几个 GB 的大文件可断点续传、又快。预签名 URL 是有时限的签名链接,让客户端直接对存储 PUT/GET 某对象,而不必让字节经过你的应用服务器——这对把大流量挡在后端之外至关重要(正是 Drive 设计搬运分块的方式)。

靠复制和纠删码做持久性

招牌特性就是持久性——厂商宣称约 11 个 9(99.999999999%),意思是丢一个对象的概率小到可以忽略。靠两个技术达成。复制把副本存到多个可用区(物理隔离的数据中心),所以一个机房着火或被淹不会丢数据。纠删码比整份复制更聪明也更省:它把对象切成 k 个数据分片加 m 个校验分片,只要拿到 k+m 中任意 k 个就能重建对象。比如 10 数据 + 4 校验,可容忍丢任意 4 个分片,而存储开销只有 1.4 倍,而非三副本的 3 倍。

对象 → 切成 k=10 数据 + m=4 校验 = 14 个分片
       分散到 14 块盘 / 可用区

  从任意 10/14 重建   → 可容忍丢最多 4 个
  存储开销 = 14/10 = 1.4 倍   (对比三副本的 3 倍)

一致性模型

历史上 S3 的某些操作是最终一致的——刚写入的对象在读时可能短暂 404。现代对象存储现在提供强一致的写后读(read-after-write):一旦 PUT 成功,随后的 GET 就返回新数据。这对"写完立刻读"的流水线很重要。不过列举(listing)可能仍略有延迟,而且没有跨对象事务——每个对象操作各自独立、各自原子。

存储分级与生命周期

不是所有数据访问频率都一样,所以对象存储提供不同价格/延迟点的存储类别,以及自动在其间迁移的生命周期规则:

一条生命周期策略可能让对象在标准类待 30 天,转到低频访问,一年后再转归档,最后过期删除——全自动,大幅降低老数据的成本。

扩展与性能

因为命名空间是扁平的,存储把 key 空间分区,几乎线性扩展——没有目录树成为瓶颈。历史上性能与 key 的前缀相关(存储按前缀分区,所以很多 key 共享一个前缀会形成热点),这也是过去建议把前缀随机化的原因;现代 S3 会自动扩展前缀,但在极端吞吐下把负载分散到多个 key 仍有帮助。对读多的公开内容,你在前面放一个 CDN,大多数读从边缘返回、根本不打到源桶。

用来干什么

• 静态资源与媒体——图片、视频、JS/CSS 包,通过 CDN 分发。
• 备份与归档——持久、便宜、按生命周期分级的冷存储。
• 数据湖——给批处理/分析作业直接读取的原始数据(读时模式 schema-on-read)。
• 应用字节块——用户上传、文件同步分块、生成的产物(Drive、Pastebin)。

常见坑

• 没有重命名/移动——"重命名"=复制到新 key + 删旧 key;移动一个大"文件夹"是很多次操作。
• 列举不免费——大桶按分页批次列举、每次请求都计费;别把列举当查询引擎用。
• 不是数据库——不能查询、连接或部分更新;要配一个元数据数据库(就像 Drive 设计那样)。
• 请求成本——上百万个小对象,请求费可能比存储费还高;把小对象批量打包。