作为全球最大的社交媒体平台之一,Twitter的规模可谓是惊人的。保证这个庞大的平台的正常运转,无疑需要先进的S3架构和超强的可靠性保障。

S3是什么?

S3是Twitter的存储系统,它的全称是Swift Distributed Storage System。S3的设计目标是:能够存储所有的Twitter数据,包括用户产生的 Tweet、已删除的 Tweet、用户关系等等。而且在存储数据的同时保证高可用性、高可靠性和高性能。

S3的规模有多大?

在2017年,S3每天能够处理大约3000亿条数据,总数据量约为20PB。但是,这个数字在2018年已经过时了。据Twitter的工程师 @BdKozlovski 披露,S3当前每天能够处理近5000亿条数据,总数据量超过25PB。令人惊叹的是,这还只是S3的一部分,Twitter和其他存储系统正一起处理这些数据。

S3的可靠性怎么样?

作为Twitter的核心存储系统,S3必须保证高可靠性和高可用性,否则一旦出现故障就会对整个平台造成灾难性的影响。为了保证可靠性,S3实现了多副本存储(replication)、数据恢复(recovery)、数据复制(copy)、数据预读(prefetch)等多种机制,从而保证了数据的安全性和稳定性。

总结:

S3是Twitter的核心存储系统,它的规模巨大,可靠性超强。这得益于Twitter工程师们对S3架构和可靠性方面的不断改进和探索,相信未来Twitter会继续保持这种高可靠性和高性能的水平。

详情参考

了解更多有趣的事情:https://blog.ds3783.com/