智源|智源研究院发布大规模并行训练效率提升器
近日 ， 北京智源人工智能研究院（简称智源研究院）发布大规模并行训练效率提升器TDS 。作为超大规模智能模型系统“悟道”的阶段进展 ， TDS（Tsinghua/Temporary DeepSpeed）插件将进一步优化现今最流行的DeepSpeed 并行计算框架 ， 从而“多快好省”地训练一个大模型 。
据介绍 ， 数据、算法、算力是当前人工智能技术崛起的重要驱动力 。利用海量数据训练大规模机器学习模型 ， 有助于人类充分学习数据中蕴含的知识 ， 达到更好的训练效果 。
然而 ， 随着训练规模的扩大 ， 单张GPU卡的显存与计算效率已经无法满足训练的需要 ， 通过分布式训练框架实现多GPU并行训练成为了一种新的刚需 。为了提升多GPU并行训练的效率 ， 研发更高效的并行计算框架十分必要 。
为应对大规模计算集群高效训练方法的需求 ， 智源研究院发挥其在硬件设计、模型架构、编程框架研发等方面的优势 ， 组织智源“悟道”团队科研人员研发了 TDS 插件 ， 对当下主流的并行计算框架进行了优化 。
【智源|智源研究院发布大规模并行训练效率提升器】据介绍 ， TDS 插件重新实现了DeepSpeed的流水线 ， 通过适配器模式封装了DeepSpeed 的其它功能 ， 该插件十分易于使用 。如果已经完成了对 DeepSpeed 的安装 ， 只需要将TDS的代码拷贝到工程中 ， 然后加载 DeepSpeed 库即可 。（郑金武）
推荐阅读
- 消费者|“网红”蛋糕放心吃！深圳发布2020年10款蛋糕产品检测报告
- 指标|深圳发布16款蜂蜜比较试验报告，其中9款获评五星
- 微博怎么发仅自己可见的微博（新浪微博如何设置发布微博仅自己可见）
- 新潮流|发布！黔菜系列团体标准打造“生态黔菜”品牌
- 图集|图集｜“粤星赏”粤菜星级餐厅名单盛大发布
- 面向世界|谁能代表顺德粤菜真味？2021“粤星赏”星级餐厅榜单发布
- 科学活动|《中国人群身体活动指南（2021）》发布 科学活动权威指南来了！
- 美食|第三届中国早茶文化节开幕 扬州发布官方首份美食地图
- 规划|娃哈哈发布2022年品牌营销规划四大举措
- 阵容|2021榜单发布倒计时！“粤星赏”H5抢先上线揭评选内幕