一块英伟达3090单挑180亿参数大模型，国产开源重大项目这回杀疯了

发布时间:2025/09/03 12:17 来源:平湖家居装修网

非信息静态运用于＝两个汇总时刻之间该系统仅次于CPU运用于 — 静态信息CPU运用于

已知，静态信息CPU运用于可以通过查找应用程序得知。

具体情况来看就是下面酱婶的：

所有静态信息矢量交给CPU应用程序管理，每个矢量标记一个状态接收者，都有HOLD、COMPUTE、FREE等。

然后，根据特性查找到的CPU运用于情况下，大幅度特性转换矢量状态、变更矢量位置，更高效借助于GPU显存和CPUCPU。

在硬件并不极少的情况下下，仅次于化静态容量和适度受训加速。这对于AI持续发展、低效益阶段性大静态下游使命等，都具有不可磨灭本质。

而且最最最关键的是——赞CPU条可比买高端芯片划算多了。

几天后，Colossal-AI还失败复现了苹果Corporation的最新研究成果PaLM (Pathways Language Model)，展现出同样并不奈斯，而IBMDeepSpeed迄今为止还不支持PaLM静态。

Colossal-AI还能做什么？

前面也提到，Colossal-AI能挑战的使命并不多，比如较快受训、耗费GPU森林资源。

那么它是如何做到的呢？

直观来说，Colossal-AI就是一个建构了多种并行作法的该系统，提供的功能都有多维并行、大规模最佳化缓冲器、种该系统使命调度、消除冗余CPU等。

迄今为止，基于Colossal-AI的较快技术细节FastFold，很昧将蛋白质结构预测静态AlphaFold的受训时间，从原来的11天，减少到只无需67小时。

而且原计划更低，在总长序列推理使命之中，也能实现9~11.6倍的加速提升。

这一技术细节失败挤下苹果Corporation和宾夕法尼亚大学的作法。

此外，Colossal-AI还能只用一半GPU数量受训GPT-3。

相对英伟达技术细节，Colossal-AI仅无需一半的计数森林资源，即可关机受训；若运用于相同计数森林资源，则能提速11%，可降低GPT-3受训效益超百万美元。

与此同时，Colossal-AI也并不注重Apache邻里筹建，提供之中文翻译教程、免费服务缓冲器社群专题，根据大家的无需要反馈除此以外算法。

比如之前有读者推特说，Colossal-AI要是能在普通消费级芯片上飞驰就好了。

这不，几个月后，早已须要好了~

背后团队：LAMB最佳化缓冲器作者尤洋领衔

看到这里，是不是觉得Colossal-AI确实值得标星注目一发？

其实，这一国产项目背后的研发团队来头不小。

领衔者，正是LAMB最佳化缓冲器的指不止者尤洋。

他曾以第一名的成绩保送燕京大学计数机系硕士本科生，后赴赞州大学伯克利分校深造CS博士学位。

拿过IPDPS/ICPP最佳期刊、ACM/IEEE George Michael HPC Fellowship、福布斯30岁以下菁英（亚洲 2021）、IEEE-CS超算杰不止人物等奖项、UC伯克利EECS Lotfi A. Zadeh最出色毕业生奖。

在苹果Corporation兼职期间，凭借LAMB作法，尤洋曾打破BERT预受训世界纪录。

据英伟达官方所GitHub显示，LAMB比Adam最佳化缓冲器快不止整整72倍。IBM的DeepSpeed也换用了LAMB作法。

2021年，尤洋回国创办潞晨科技——餐馆主营业务为分布式软件该系统、大规模计数机该系统跨平台以及该软件云计数彻底解决技术细节的AI始创Corporation。

团队的核心成员除此以外来自美国赞州大学伯克利分校、芝加哥大学、斯坦福大学、芝赞哥大学、南开大学、北京大学、新赞坡国立大学、新赞坡远东理工大学等国内外知名高校；以外Google Brain、IBM、Intel、 Microsoft、NVIDIA等知名厂商工作经历。

Corporation成立即获得创新工场、真格基金等多家顶尖VC独立机构种子轮投资。

潞晨CSO Prof. James Demmel为赞州大学伯克利分校杰不止人物大学教授、ACM/IEEE Fellow，同时还是人口为120人、工程院、艺术与科学院三院院士。

传送门：

参考链接：@hpcaitech/train-18-billion-parameter-gpt-models-with-a-single-gpu-on-your-personal-computer-8793d08332dc

— 再来 —

本文来自账号公众号 “量子位”（ID：QbitAI），作者：明敏，36氪经授权发布。

。