您的当前位置:首页NVIDIA GPU弱爆了!世界第一AI芯片升级4万亿晶体管、90万核心

NVIDIA GPU弱爆了!世界第一AI芯片升级4万亿晶体管、90万核心

2024-03-15 来源:安平科技网

Cerebras Systems发布了他们的第三代晶圆级AI加速芯片“WSE-3”(Wafer Scale Engine 3),规格参数更加疯狂,而且在功耗、价格不变的前提下性能翻了一番。

2019年的第一代WSE-1基于台积电16nm工艺,面积46225平方毫米,晶体管1.2万亿个,拥有40万个AI核心、18GB SRAM缓存,支持9PB/s内存带宽、100Pb/s互连带宽,功耗高达15千瓦。

2021年的第二代WSE-2升级台积电7nm工艺,面积不变还是46225平方毫米,晶体管增至2.6万亿个,核心数增至85万个,缓存扩至40GB,内存带宽20PB/s,互连带宽220Pb/s。

如今的第三代WSE-3再次升级为台积电5nm工艺,面积没说但应该差不多,毕竟需要一块晶圆才能造出一颗芯片,不可能再大太多了。

晶体管数量继续增加达到惊人的4万亿个,AI核心数量进一步增加到90万个,缓存容量达到44GB,外部搭配内存容量可选1.5TB、12TB、1200TB。

乍一看,核心数量、缓存容量增加的不多,但性能实现了飞跃,峰值AI算力高达125PFlops,也就是每秒12.5亿亿次浮点计算,堪比顶级超算。

它可以训练相当于GPT-4、Gemini十几倍的下一代AI大模型,能在单一逻辑内存空间内存储24万亿参数,无需分区或者重构。

用它来训练1万亿参数大模型的速度,相当于用GPU训练10亿参数。

四颗并联,它能在一天之内完成700亿参数的调教,而且支持最多2048路互连,一天就可以完成Llama 700亿参数的训练。

WSE-3的具体功耗、价格没公布,根据上代的情况看应该在200多万美元。

声明: ,,我们将第一时间处理! 2.资源所需价格并非资源售卖价格,,并且本站不提供任何免费技术支持 3.所有资源仅限于参考和学习,版权归原作者所有。

安平科技网还为您提供以下相关内容希望对您有帮助:

8年增长1000倍,英伟达带来史上最成功的产品

具有2080亿个晶体管,采用专门定制的双倍光刻极限尺寸4NP TSMC工艺制造,通过10 TB/s的片间互联,将GPU裸片连接成一块统一的GPU。 第二代Transformer引擎。得益于全新微张量缩放支持,以及集成于TensorRT-LLM和NeMo Megatron框架中的英伟达动态...

nvidia的a100 gpu怎么样?

1、A100 系列是计算加速显卡,该系列产品为数据中心的高性能计算机推出,用于人工智能科学产业等运算该系列产品 GPU 芯片代号为 GA100,核心面积 826 平方毫米,具有 540 亿个晶体管,新品最高搭载 80GB 显存,使用 HBM2。2...

8192cuda 性能强悍 NV公布7nm安培A100gpu 还想弯道超车?

基于 AMPERE (安培) 架构的 A100 GPU 采用台积电 7nm 工艺打造,核心面积 826m㎡,晶体管数量高达恐怖的 542 亿,是 Volta GV100 GPU 的 2.5 倍还多,后者采用的是台积电 12nm 工艺,面积为 815m㎡,晶体管数量为 ...

英伟达这家做AI芯片的进军汽车圈?宝马、小鹏、FF纷纷跟进

这是英伟达推出的第八代GPU架构,较前一代2018年发布的图灵架构性能提升高达20倍。同时,黄仁勋还带来了基于安培架构GPU A100的DGX-A100 AI系统和面向边缘AI计算的EGX A100。“这是英伟达八代GPU史上最大的一次性能飞跃”,...

继自动驾驶后,芯片巨头英伟达这一次要挑战AI医疗

Kimberly Powell说,Clara即是英伟达开发的以 AI 为驱动的医疗影像超算平台,用以提升传统老旧设备对应用程序的处理速度。 据介绍,这一平台核心是Clara AGX,基于英伟达 Xavier AI运算模组、Turing GPU的运算架构,能从入门级设备扩展到要求最...

英伟达继续放大招,黄教主带你横扫AI世界

新一代超级芯片:生成式AI的基础 NVIDIA这次推出最硬核的产品是强化版的GH200 Grace Hopper 超级芯片,先前发表的GH200 Grace Hopper 超级芯片,结合了 72 核 Grace CPU 和 Hopper GPU,已经于 5 月投产。NVIDIA创始人、...

英伟达发布史上最强计算平台,黄教主:自动驾驶不再担心算力问题_百度...

这些核心架构的升级正是推动英伟达各类 GPU 产品整体性能提升的关键。针对基于安培架构的首款 GPU A100,黄仁勋细数了它的五大核心特点:集成了超过 540 亿个晶体管,是全球规模最大的 7nm 处理器;引入第三代张量运算指令 ...

NVIDIA发布7nm安培5大技术创新20倍AI算力

4、英伟达Orin X芯片采用全新的NVIDIA GPU及12核ARM CPU,7nm工艺制成,单片运算能力高达每秒254 TOPS在当下量产车规级AI芯片中,英伟达Orin X芯片处于金字塔尖的水平,单芯片算力约为Mobileye 最新的EyeQ5的10倍,是特斯拉...

AI人工智能正在改变计算的整个本质

因此,只需改进MAC并在芯片上创建更多的MAC来增加并行化,就可以立即改善机器学习。 主导AI培训的Nvidia和其CPU主导机器学习推理的英特尔都试图调整他们的产品以利用那些原子线性代数函数。Nvidia为其Tesla GPU添加了“张量核心”,以优化矩阵...

tesla a100 gpu是什么?

1、A100 系列是计算加速显卡,该系列产品为数据中心的高性能计算机推出,用于人工智能科学产业等运算该系列产品 GPU 芯片代号为 GA100,核心面积 826 平方毫米,具有 540 亿个晶体管,新品最高搭载 80GB 显存,使用 HBM2。2...

Top