-
分布式文件服务系统(Distributed File System, DFS)-00-分布式文件服务系统是什么?
DFS 系列
Apache Hadoop-01-大数据之谷歌文件系统论文 GFS The Google File System
Apache Hadoop-03-HDFS Distributed File System 分布式文件系统
开发流程
可以先开发一个单机版本的
然后逐步改进到分布式
保证对外的 api 不变化,兼容 S3
可以参考 minio 来设计。
差异化
安...
2016-12-31 02:48:42 |
File
-
文件服务客户端-01-x-file-storage 一行代码将文件存储到各个地方
📚简介
一行代码将文件存储到本地、FTP、SFTP、WebDAV、阿里云 OSS、华为云 OBS、七牛云 Kodo、腾讯云 COS、百度云 BOS、又拍云 USS、MinIO、
Amazon S3、GoogleCloud Storage、FastDFS、 Azure Blob Storage、Cloudflare R2、金山云 KS3、美团云 MSS、京东云 OSS、天翼云 OOS、移动 ...
2016-12-31 02:48:42 |
File
-
文件存储服务系统(File Storage Service System)-11-数据存储时分布式如何保持一致性?chat
chat
分布式文件存储时,为什么需要一致性协议?
在 分布式文件存储 系统中,一致性协议(如 Raft 和 Paxos)扮演着关键角色,主要是为了确保数据在多个节点间的一致性和可靠性。
以下是为什么分布式文件存储需要一致性协议的几个主要原因:
1. 数据一致性
多节点协作:分布式文件系统通常将文件分割成多个部分并将它们存储在不同的物理节点上。由于文件数据分布在多个服务器或存储...
2016-12-31 02:48:42 |
File
-
文件存储服务系统(File Storage Service System)-09-客户端 api 如何支持 Hadoop 标准?chat
chat
详细介绍一下 Hadoop
参考资料
https://juejin.cn/post/6897893111859511304
chat
详细介绍一下 Hadoop
参考资料
2016-12-31 02:48:42 |
File
-
文件存储服务系统(File Storage Service System)-08-客户端 api 如何支持 POSIX 标准?chat
chat
详细介绍一下 POSIX
参考资料
https://juejin.cn/post/6897893111859511304
chat
详细介绍一下 POSIX
参考资料
2016-12-31 02:48:42 |
File
-
文件存储服务系统(File Storage Service System)-07-客户端 api 如何支持 S3 标准?chat
chat
详细介绍一下文件服务中的 S3 标准
为什么大家要兼容 s3 接口呢?
S3(Amazon Simple Storage Service)接口被广泛采用并作为兼容的标准接口的原因并不仅仅是因为其设计本身“非常优秀”,而是由于多个 实际需求 和 市场因素 的推动。
以下是为什么许多对象存储系统(如 MinIO、Ceph、Wasabi 等)都选择兼容 S3 接口的原因:
1....
2016-12-31 02:48:42 |
File
-
文件存储服务系统(File Storage Service System)-06-如何渐进式设计一个分布式的文件服务?chat
文件服务系列
文件存储服务系统(File Storage Service System)-00-文件服务器是什么?为什么需要?
文件存储服务系统(File Storage Service System)-01-常见的文件协议介绍
文件系统 FTP Ubuntu 安装入门介绍
文件存储服务系统(File Storage Service System)-02-SFTP 协议介绍
分布式...
2016-12-31 02:48:42 |
File
-
文件存储服务系统(File Storage Service System)-05-大文件和小文件
文件服务系列
文件存储服务系统(File Storage Service System)-00-文件服务器是什么?为什么需要?
文件存储服务系统(File Storage Service System)-01-常见的文件协议介绍
文件系统 FTP Ubuntu 安装入门介绍
文件存储服务系统(File Storage Service System)-02-SFTP 协议介绍
分布式...
2016-12-31 02:48:42 |
File