DeepSpeed

DeepSpeed是一个由微软开发的开源深度学习优化库，旨在通过提供ZeRO内存优化、流水线并行和高效分布式训练等技术，显著提升大规模模型训练的效率和可扩展性。