在当今数字时代,云存储成为了企业中不可或缺的工具。其中,微软旗下的 Azure 存储以其高效、可靠的服务广受好评。不过,如何进一步提高 Azure 存储的性能,成为了一项备受关注的问题。近期,来自美国加州大学圣地亚哥分校的张嘉伟等人,在使用 RDMA 技术与 Azure 存储进行了一次突破性的实验后,在 NSDI23 会议上发表了题为 ” 赋能 Azure 存储与 RDMA ” 的报告。

RDMA,全称为 Remote Direct Memory Access,是一种计算机网络通信技术。与一般的网络传输方式不同,RDMA 直接在计算机内存中读取和写入内存数据,避免了不必要的内存复制和数据移动,从而提高了数据传输的效率。此外,RDMA 还具有低延迟、高吞吐量等优点,被广泛应用于高性能计算、云存储等领域。

张嘉伟等人在实验中,通过将 RDMA 技术与 Azure 存储相结合,实现了 Azure 存储中数据的高速传输和数据访问。具体来说,研究团队使用了 Azure Blob 存储服务,针对 RDMA 缺少连接状态管理能力等问题,采取了一系列改进措施。例如,通过建立短连接(Short connection)、使用固定长度的缓冲区等方式,优化了 RDMA 与 Azure 存储之间的通信效率。同时,研究团队还设计了一种基于 RDMA 的读写优化算法,进一步提高了数据的传输速率。

实验结果表明,与传统的 TCP/IP 协议相比,采用 RDMA 技术对 Azure 存储进行访问,可以显著提高数据传输的性能。具体来说,在传输大文件(1GB)方面,RDMA 的传输速率可以达到 1.6 GB/s,是 TCP/IP 的 6 倍之多。在小文件(4KB)传输方面,RDMA 的传输速率也能达到 50000 ops/s,是 TCP/IP 的 5 倍。

此外,研究团队还据此提出了一种基于 RDMA 的 Azure 存储路由器设计,以实现更高效的数据访问和传输。值得一提的是,在此设计中,研究团队还考虑了 Azure 存储具有数据复制、数据恢复等特性,从而进一步优化了数据传输的效率。

总的来说,张嘉伟等人基于 RDMA 技术对 Azure 存储进行的实验研究,为 Azure 存储的性能提升提供了一种全新的思路和方法。未来,基于 RDMA 技术的 Azure 存储服务,有望在企业中得到更广泛的应用。

详情参考

了解更多有趣的事情:https://blog.ds3783.com/