.. _概述:

概述
================

Megatron-LM 是当前非常主流的分布式训练框架，专门用于训练基于 Transformer 架构的大模型。这个框架是为了应对自然语言处理（NLP）领域中模型参数数量呈指数级增长的挑战而设计的。

Cambricon Megatron-LM 是寒武纪基于\ `Megatron-LM <https://github.com/NVIDIA/Megatron-LM>`_\ 原始仓进行开发适配，扩展了对 MLU 设备的支持，同时屏蔽了硬件细节，调用方式与 GPU 无差别。


.. attention::

   - 当前版本对应社区 Megatron-LM 仓库的 core_r0.6.0 分支。
