昨天，微软宣布开源DeepSpeed Chat。
它能支持任何人、任何企业以更低的成本、更快的速度训练与ChatGPT类似的高质量大模型，使得人人都能拥有自己的ChatGPT。
快速导航
什么是DeepSpeed？
DeepSpeed 是一款易于使用的深度学习优化软件套件，可为深度学习训练和推理提供前所未有的规模和速度。
如何理解呢？
想象一下，你有一个非常大的难题想要解决，但是它太难太大，你自己无法完成。你需要你的朋友提供一些帮助。
DeepSpeed就像一个工具，可以帮助你和你的朋友一起解决这个难题。它可以：
把谜题切成小块，给你们每个人一块来做。这样一来，你们可以更快更容易地解开谜题。——即并行。
让谜题碎片更轻、更简单，这样你就不必携带或记住太多的信息。这样，你可以节省一些能量和空间。——即压缩。
检查你的进度，给你一些提示或反馈，告诉你如何提高你的解谜技巧。这样，你可以更好更快地学习。——即优化。
通过DeepSpeed，你和你的朋友可以比以前更快、更好地解开谜题。你还可以尝试更大更难的谜题。
而在DeepSpeed之前，这是做不到的。
更快：一顿午餐时间训练自己的ChatGPT
如果有大约 1-2 小时的咖啡或午餐休息时间，可以用 DeepSpeed-Chat 训练一个小型模型。
例如，微软为单个数据集准备了一个 13 亿参数模型的训练示例，以便在消费级 GPU 上测试DeepSpeed。当你从午餐休息回来时，模型已经准备好，可供使用。
经过 DeepSpeed-Chat 训练，13 亿参数版本的“ChatGPT”在问答环节表现非常出色。 不仅能抓住问题的上下文，而且给出的答案也不错。
如果用9小时，你将拥有一个 660 亿参数的 ChatGPT 模型，功能更加强大。
更省钱：无需$140万，$320就可训练自己的ChatGPT
DeepSpeed大大降低了成本。
据估算，GPT-3 训练一次的成本约为140 万美元，对于一些更大的LLM（大型语言模型），训练成本介于200 万～1200 万美元之间。
而根据测试，用DeepSpeed训练13 亿参数的“ChatGPT”，成本只需320美元（大约2200元）, 训练660 亿参数的“ChatGPT”，成本为1920美元（13200元）。
如何使用？从一段代码开始
以下示例展示了如何使用一个脚本，生成一个130 亿参数的 类似ChatGPT 模型：
pip install deepspeed>=0.9.0
git clone https://github.com/microsoft/DeepSpeedExamples.git
cd DeepSpeedExamples/applications/DeepSpeed-Chat/
pip install -r requirements.txt
python train.py --actor-model facebook/opt-13b --reward-model facebook/opt-350m --deployment-type single_node更详细内容，可访问DeepSpeed官方文章。
中文版：https://github.com/microsoft/DeepSpeed/blob/master/blogs/deepspeed-chat/chinese/README.md
DeepSpeed三大创新支柱
DeepSpeed-训练
DeepSpeed 提供了系统创新的融合，使大规模 深度学习训练变得有效和高效，大大提高了易用性，并根据可能的规模重新定义了深度学习训练领域。 ZeRO、3D-Parallelism、DeepSpeed-MoE、ZeRO-Infinity 等这些创新都属于训练支柱。
图1：有32个工作者的3D并行实例。神经网络的层被划分到四个流水线阶段。每个流水线阶段中的层被进一步划分到四个模型并行工作者中。最后，每个管道被复制到两个数据并行实例中，ZeRO将优化器的状态划分到数据并行副本中。
图2：将图1中的工作者映射到有八个节点的系统上的GPU，每个节点有四个GPU。着色表示同一节点上的GPU。
DeepSpeed 推理
DeepSpeed 汇集了张量、管道、专家和零并行等并行技术的创新，并将它们与高性能定制推理内核、通信优化和异构内存技术相结合，以实现前所未有的规模推理，同时实现无与伦比的延迟、吞吐量和 降低成本。 这种用于推理的系统技术的系统组合属于推理支柱。
DeepSpeed-压缩
为了进一步提高推理效率，DeepSpeed 为研究人员和从业者提供易于使用且组合灵活的压缩技术来压缩模型，同时提供更快的速度、更小的模型大小并显着降低压缩成本。 此外，SoTA 在压缩方面的创新，如 ZeroQuant 和 XTC，都包含在压缩支柱下。
链接：
