0%

对象存储

目录#

对象存储#

概念 非开源产品 文件大小 接口 场景
将数据和元数据当做一个对象 AWS S3,阿里云OSS,Facebook Haystack, 适合各种大小 Restful API 音频,视频,图片。网站资源动静分离; 网盘

开源的产品#

开源的产品 特性 K8S 协议 语言 是否分布式 问题 客户端 Git Star
ceph 一整套存储解决方案,支持Fuse,大规模可扩展,有自愈能力,成熟 Rook(K8S云存储) RESTful API ,兼容S3协议 和 OpenStack Swift C++ 架构复杂,安装运维复杂,学习成本高 有java客户端 8.5k
fastdfs 小巧,简单 REST C fastdfs问题 有java客户端 6.9k
glusterfs 稳定,适合大型应用,支持Fuse 支持 REST(archived) C 扩容麻烦小文件性能较差 2.8k
MinIO 非常轻量的服务,所有读写操作都严格遵守read-after-write一致性模型可扩容:不同MinIO集群可以组成联邦,并跨越多个数据中心,但不支持动态扩容;可支持扩容 Cloud Native 兼容S3协议 go 不支持动态增加节点,后续会采用其它方案来支持扩容可支持扩容 有java客户端 24.7k

其他开源产品#

其他开源产品
Apache OZone 基于HDFS
ContainerFS 京东开源
Lustre 老牌
OpenStack Swift 依赖OpenStack
阿里TFS 有大厂在用,但已不更新
moosefs 性能不错,支持FUSE,C实现,有单点问题

存储分层#

参考#

S3FS 简介及部署