比如,今天DeepEP上午开源,Nvidia这边下午就集成到了Megatron-LLM。据了解,老黄在NV内部把DeepSeek的支持重要性排到了Llama之前,成为了最重要的开源 ...
测试数据表明,该方案能显著提升大模型训练性能,相比传统 RoCE 网络方案,这种 AI 网络的带宽利用率超过 95%,通信时延降低 30%,NVIDIA Megatron-LM 大 ...