目录#
对象存储#
| 概念 | 非开源产品 | 文件大小 | 接口 | 场景 |
|---|---|---|---|---|
| 将数据和元数据当做一个对象 | AWS S3,阿里云OSS,Facebook Haystack, | 适合各种大小 | Restful API | 音频,视频,图片。网站资源动静分离; 网盘 |
开源的产品#
| 开源的产品 | 特性 | K8S | 协议 | 语言 | 是否分布式 | 问题 | 客户端 | Git Star |
|---|---|---|---|---|---|---|---|---|
| ceph | 一整套存储解决方案,支持Fuse,大规模可扩展,有自愈能力,成熟 | Rook(K8S云存储) | RESTful API ,兼容S3协议 和 OpenStack Swift | C++ | 是 | 架构复杂,安装运维复杂,学习成本高 | 有java客户端 | 8.5k |
| fastdfs | 小巧,简单 | REST | C | fastdfs问题 | 有java客户端 | 6.9k | ||
| glusterfs | 稳定,适合大型应用,支持Fuse | 支持 | REST(archived) | C | 是 | 扩容麻烦小文件性能较差 | 2.8k | |
| MinIO | 非常轻量的服务,所有读写操作都严格遵守read-after-write一致性模型可扩容:不同MinIO集群可以组成联邦,并跨越多个数据中心,但不支持动态扩容;可支持扩容 | Cloud Native | 兼容S3协议 | go | 是 | 不支持动态增加节点,后续会采用其它方案来支持扩容可支持扩容 | 有java客户端 | 24.7k |
其他开源产品#
| 其他开源产品 | |
|---|---|
| Apache OZone | 基于HDFS |
| ContainerFS | 京东开源 |
| Lustre | 老牌 |
| OpenStack Swift | 依赖OpenStack |
| 阿里TFS | 有大厂在用,但已不更新 |
| moosefs | 性能不错,支持FUSE,C实现,有单点问题 |