昇思大模型专题技术公开课·多维度混合并行自动搜索优化策略课程
昇思MindSpore技术公开课大模型专题课程的第十三讲中，我们有幸邀请到了田文洪教授团队，来为多维度混合并行自动搜索优化策略进行深度技术解读。介绍数据并行和流水线并行下对并行训练时间损失的数学建模、流水线优化划分方案的改进、APSS算法讲解，以及进行APSS算法求解分布式策略的实践演示。
·
昇思MindSpore技术公开课大模型专题课程的第十三讲中，我们有幸邀请到了田文洪教授团队，来为多维度混合并行自动搜索优化策略进行深度技术解读。介绍数据并行和流水线并行下对并行训练时间损失的数学建模、流水线优化划分方案的改进、APSS算法讲解，以及进行APSS算法求解分布式策略的实践演示。
为开发者提供学习成长、分享交流、生态实践、资源工具等服务，帮助开发者快速成长。
更多推荐
1
0- 0
所有评论(0)