训练模型|算力时代,谁主沉浮( 三 )
但看似矛盾的是,AI与HPC的“分化”也是最近的事情 。
张云泉介绍说,自从巨参数模型(如GPT模型)诞生以来,其算力需求对于现存的超级计算机是“致命的”——我国七八家国家级超算中心,都不具备解决千亿乃至万亿级模型参数计算的能力,这直接导致AI计算的架构和概念独立出来 。
事实上,巨模型的计算问题,无论对超算更是AI计算都提出了巨大挑战 。张云泉认为,这意味着未来超级计算机的架构和形态还要继续演化 。
陈文光认为,AI应用特别是基于巨模型的应用对网络、I/O能力等的要求非常高,从融合发展的方向看,这些应用的特殊要求反过来会影响HPC的设计,比如对带宽的要求和I/O的设计会有一些促进 。
另外,陈文光提到,还应重视混合精度算力的发展 。比如,AI算力的单精度性能高,就可以先用它解决一些低精度计算的问题,然后再拿到高性能计算机上完成高精度的计算要求,从而提升算力资源整体的性能和性价比 。据透露,目前混合精度算力已被写入计算领域“十四五”规划相关的指南文件中 。
自底向上来看,算力中心能提供何种计算能力,从根本上取决于芯片 。比如AI芯片严格意义上属于专用芯片,那么国内一些以AI芯片为主的计算机,就注定无法胜任科学计算任务 。
从事服务器芯片研发的中国科学院计算技术研究所研究员范东睿介绍说,即便AI芯片也有通用与专用之别,在他看来,专用芯片就应该越来越专,通用芯片就要做到能涵盖所有的精度和算法,让其各司其职 。
“(一些供应商)把专用芯片当成通用芯片来讲故事,那就不好了 。”范东睿说,目前国内对芯片的需求量越来越大,但作为核心器件,“芯片人”和“芯片厂”还是要有所坚持,“不能忽悠” 。
推荐阅读
- fc力量训练方法(fc力量训练方法有什么)
- 训练的腿疼怎么办(训练的腿疼怎么解决)
- 毛笔楷书基础训练教程(毛笔楷书基础训练方法)
- 隔肌呼吸的训练方法(怎样训练隔肌呼吸)
- 训练恶狗的正确方法(可以随意打骂吗)
- 练核心力量训练方法(如何训练核心力量)
- 博美犬训练排便的方法步骤(如何训练博美犬排便)
- 田径力量训练方法小学生(如何训练小学生田径力量)
- 训练800米跑步的技巧(800米跑步训练的技巧有什么)
- 中锋篮球训练方法(关于中锋篮球训练方法)