手把手教你炼大模型 第2讲：大规模语言模型并行训练系统和算法
ChatGPT为代表的大语言模型为通用人工智能带来了曙光，然而，近年来模型参数量的增加速度远超集群规模和AI芯片的容量增长速度，带来了需求和算力的不匹配。利用有限的集群高效训练大型语言模型，是一个综合性的工程问题，往往涉及模型、并行算法、优化等的综合配合。 本期第二讲的主题为：大规模语言模型并行训练系统和算法，任晓哲老师将综合介绍大规模语言模型训练的常见系统级和算法级技术，并通过最新的进展探讨未来
·
ChatGPT为代表的大语言模型为通用人工智能带来了曙光，然而，近年来模型参数量的增加速度远超集群规模和AI芯片的容量增长速度，带来了需求和算力的不匹配。利用有限的集群高效训练大型语言模型，是一个综合性的工程问题，往往涉及模型、并行算法、优化等的综合配合。
本期第二讲的主题为：大规模语言模型并行训练系统和算法，任晓哲老师将综合介绍大规模语言模型训练的常见系统级和算法级技术，并通过最新的进展探讨未来发展的可能。
华为开发者空间，是为全球开发者打造的专属开发空间，汇聚了华为优质开发资源及工具，致力于让每一位开发者拥有一台云主机，基于华为根生态开发、创新。
更多推荐
0
0- 0
所有评论(0)