阿里云对象存储新功能/规格：OSS Connector for AI/ML 助力 PyTorch 训练框架

11阅读

0评论

0点赞

全新发布的OSS Connector for AI/ML高性能客户端，专为PyTorch训练任务设计，可高效访问阿里云对象存储服务中的数据。该客户端兼容PyTorch DataLoader，支持构建Map-style和Iterable-style数据集，并内置预读和并发优化机制，显著提升数据处理效率。

高性能客户端助力 PyTorch 训练框架

适用客户

适用于使用 PyTorch 框架进行大规模模型训练的企业和个人开发者。

新增功能与规格

OSS Connector for AI/ML 是一个专为 PyTorch 训练任务设计的高性能客户端，能够高效访问阿里云对象存储服务（OSS）中的数据。
该客户端与 PyTorch DataLoader 兼容，支持构建适用于随机访问和流式顺序访问的 Map-style dataset 和 Iterable-style dataset。
训练数据可以直接从 OSS 读入系统内存，无需预先保存到本地文件系统，从而显著提升数据处理效率。
内置预读和并发优化机制，充分发挥 OSS 的高吞吐量优势，避免传统 FUSE 客户端的性能瓶颈。