昇思大模型专题技术公开课·多维度混合并行自动搜索优化策略课程
昇思MindSpore技术公开课大模型专题课程的第十三讲中，我们有幸邀请到了田文洪教授团队，来为多维度混合并行自动搜索优化策略进行深度技术解读。介绍数据并行和流水线并行下对并行训练时间损失的数学建模、流水线优化划分方案的改进、APSS算法讲解，以及进行APSS算法求解分布式策略的实践演示。
·
昇思MindSpore技术公开课大模型专题课程的第十三讲中，我们有幸邀请到了田文洪教授团队，来为多维度混合并行自动搜索优化策略进行深度技术解读。介绍数据并行和流水线并行下对并行训练时间损失的数学建模、流水线优化划分方案的改进、APSS算法讲解，以及进行APSS算法求解分布式策略的实践演示。
华为开发者空间，是为全球开发者打造的专属开发空间，汇聚了华为优质开发资源及工具，致力于让每一位开发者拥有一台云主机，基于华为根生态开发、创新。
更多推荐
1
0- 0
所有评论(0)