为了让 1.085 万亿参数的 PanGu-Σ 超大模型实现高性能和高效训练，华为的研究团队提出了一系列的优化方法。最近几个月，我们已经见识到了大型语言模型 (LLM) 的魅力，无论是在文本生成还是推理方面，无不令人惊讶。 ...
为了让 1.085 万亿参数的 PanGu-Σ 超大模型实现高性能和高效训练，华为的研究团队提出了一系列的优化方法。最近几个月，我们已经见识到了大型语言模型 (LLM) 的魅力，无论是在文本生成还是推理方面，无不令人惊讶。在海量数据的基础上，语言模型随着算力的增加和参数的扩充得以不断改善，从而展示出强大的零样本、少样本学习能力甚至出现了涌现能力 。自 GPT-3 发布以来，具有数千亿参数的大语言模型不断涌出，包括但不限于 Megatron-Turing NLG、PanGu-α、ERNIE 3.0 Titan、Gopher、PaLM、OPT、Bloom GLM-130B 。不仅如此，AI 研究者甚至开始构建具有超过一万亿参数的更大的语言模型。在这些万亿参数模型中，有几个值得关注的研究，如 Switch-C、GLaM、MoE-1.1T、Wu Dao 2.0 和 M6-10T。然而，在众多任务中，只有少数研究发布了综合评估结果，实现了预期性能。近日，华为发布了具有稀疏架构的大型语言模型 PanGu-Σ，参数量多达 1.085 万亿。该模型基于 MindSpore 框架开发，并在 100 天内仅用 512 个昇腾 910 AI 加速器和 3290 亿 token 训练完成。PanGu-Σ 固有参数来自 PanGu-α，并且还包含 Transformer 解码器架构并通过随机路由专家 (RRE) 进行扩展。论文地址：https://arxiv.org/pdf/2303.10845.pdf与传统的 MoE 不同，RRE 采用二级路由。第一级，专家按领域或任务进行分组；第二级，token 随机且统一地映射到每个组中的专家，而不像 MoE 那样使用可学习的门函数。通过 RRE ，研究者可以很容易地从 PanGu-Σ 中提取子模型，用于各种下游应用，例如对话、翻译、代码生成或一般自然语言理解。此外，为了使训练系统高效且可扩展，该研究还提出了 ECSS（Expert Computation and Storage Separation）机制，该机制在 512 个昇腾 910 加速器集群上训练 PanGu-Σ 时实现了 69905 个 token / 秒的观察吞吐量，并减少了主机到设备和设备到主机的通信以及优化器更新计算大幅增加。总体而言，与具有相同超参数但具有 MoE 架构的模型相比，PanGu-Σ 训练吞吐量提高了 6.3 倍。通过在 40 多种自然语言和编程语言上的 329B token 测试表明，在没有多任务微调和指令调优的情况下，在零样本设置下，PanGu-Σ 在中文域的 6 个类别的 16 个下游任务上，显著优于先前的 PanGu-α (13B 参数) 和 ERNIE 3.0 Titan (260B 参数) 这些 SOTA 模型。该研究还在对话、机器翻译和代码生成等多个应用领域测试了经过微调的 PanGu-Σ 的性能，结果表明 PanGu-Σ 在相应领域优于 SOTA 模型。模型介绍从总体设计看，PanGu-Σ 旨在实现以下目标：
 一万亿参数，512个昇腾910训练，华为PanGu-Σ大模型来了
精彩评论
近期文章
推荐阅读
热门问答
 传薪教育，传承创新，传薪助力！线上线下平台，助力小学、初中、高中师生的课前、课中、课后多场景教学、训练、检测和考试，依托学校、老师、家长、教辅出版商等多方合力辅助教与学，借助大数据和人工智能等潮流技术，积极响应国家“双减”政策，真正实现高效教学！
|
1