英伟达“最强AI芯片”炸裂全场!业内惊呼:新的摩尔定律诞生
作者:朱雪莹
来源:硬AI
“最强AI芯片” Blackwell B200 GPU的英伟高调发布,已不单单是达最的摩稳固英伟达在芯片领域的王者地位,更是片炸让业内人士高呼:新的摩尔定律诞生!
在隔夜的裂全律诞2024 GTC大会上,黄仁勋介绍了运行AI模型的场业新一代芯片和软件。他表示,内惊新一代的呼新B200 GPU拥有2080亿个晶体管,可以提供高达20 petaflops的尔定FP4性能。相比之下,英伟H100仅为4 petaflops。达最的摩
在GTC直播中,黄仁勋左手举着 B200 GPU,裂全律诞右手举着 H100
此外,场业将两个B200 GPU与单个Grace CPU 结合在一起的内惊 GB200,可以为LLM推理工作负载提供30倍的呼新性能,并且显著提高效率。
黄仁勋还强调称:“与H100相比,GB200的成本和能耗降低了25倍!
关于市场近期颇为关注的能源消耗问题,B200 GPU也交出了最新的答卷。
黄仁勋表示,此前训练一个1.8 万亿参数模型,需要8000 个 Hopper GPU 并消耗15 MW电力。但如今,2000 个 Blackwell GPU就可以实现这一目标,耗电量仅为4MW。
在拥有1750亿参数的GPT-3大模型基准测试中,GB200的性能是H100的7倍,训练速度是H100的4倍。
值得一提的是,B200 GPU的重要进步之一,是采用了第二代Transformer引擎。
它通过对每个神经元使用4位(20 petaflops FP4)而不是8位,直接将计算能力、带宽和模型参数规模翻了一倍。
而只有当这些大量的GPU连接在一起时,第二个重要区别才会显现,那就是新一代NVLink交换机可以让576个GPU相互通信,双向带宽高达1.8TB/秒。
而这就需要英伟达构建一个全新的网络交换芯片,其中包括500亿个晶体管和一些自己的板载计算:拥有3.6 teraflops FP8处理能力。
在此之前,仅16个GPU组成的集群,就会耗费60%的时间用于相互通信,只有40%的时间能用于实际计算。
一石激起千层浪,“最强AI芯片”的推出让网友纷纷赞叹。
其中英伟达高级科学家Jim Fan直呼:Blackwell新王诞生,新的摩尔定律已经应运而生。
DGX Grace-Blackwell GB200:单个机架的计算能力超过1 Exaflop。
黄仁勋交付给OpenAI的第一台DGX是0.17 Petaflops。
GPT-4的1.8T参数可在2000个Blackwell上完成90天的训练。
还有网友感叹:1000倍成就达成!
Blackwell标志着在短短8年内,Nvidia AI 芯片的计算能力实现了提升1000倍的历史性成就。
2016 年,“Pascal”芯片的计算能力仅为19 teraflops,而今天Blackwell的计算能力已经达到了 20000 teraflops。
本文来自华尔街见闻,欢迎下载APP查看更多
(责任编辑:热点)
- 三国群英传2秘籍怎么输入DALL
- 《魔兽世界怀旧服》工程学高级配方装备道具怎么获取 获取方法一览
- 阴阳师现世召唤必出ssr图案(现世召唤阵SSR出现概率最高图案)
- 灰烬战线电脑版安装教程 灰烬战线模拟器使用说明
- 画烟熏妆的步骤
- 英雄联盟新生上单霸主杰斯出装和符文选择介绍
- 造梦西游3逍遥修改器 v8.2.9 绿色免费版
- DNF迷之礼盒黄金增幅书值多少钱 dnf黄金增幅书作用全解析
- 自制简约十字绣绣架
- DNF游戏工作室之95版本如何避免起号封号
- 玩家秀《鬼泣5:特别版》维吉尔操作 小怪浮空连招流畅
- 速度王者御风归来 超级瓦斯~浅~析
- 荷兰vs卡塔尔 荷兰顺利出线!
- 魔兽世界怀旧服厄运之槌怎么去副本入口