|

财经

英伟达是靠钱堆出来了

来源:半导体行业观察

2025-03-31 09:51:30

(原标题:英伟达是靠钱堆出来了)

如果您希望可以时常见面,欢迎标星收藏哦~

来源:内容编译自nextplatform,谢谢。

可以肯定地说,在 2025 年,世界上最好的工作是 Nvidia 的首席执行官,而该公司的联合创始人黄仁勋 (Jensen Huang) 带领公司走向了辉煌,就像联合创始人托马斯·沃森 (Thomas Watson) 带领公司走向国际商业机器公司 (International Business Machines)、拉里·埃里森 (Larry Ellison) 带领公司走向甲骨文公司 (Oracle) 以及史蒂夫·乔布斯 (Steve Jobs) 带领公司走向苹果电脑公司 (Apple Computer) 一样。

但 Nvidia 的第二好工作无疑是 Bill Dally 所从事的工作。或者更确切地说,Dally 同时从事这两份工作。Dally 于 2009 年出任 Nvidia 首席科学家,在此之前,他曾担任斯坦福大学计算机科学系主任十几年,并在麻省理工学院和加州理工学院从事芯片、互连和系统研究数十年,成绩斐然。Dally 说,他会关注公司内部发生的一切,并努力让所有这些技术“尽可能地好”。在圣何塞举行的最新 GPU 技术大会上,Dally 在演讲中补充说,他还有另一份工作,负责管理 Nvidia 研究部门,这意味着他可以“与许多真正聪明的人一起解决许多艰难的智力问题”。

Dally 的演讲总是很有趣,最近一次 GTC 上的演讲也不例外。像往常一样,Dally 挑选了一些硬件和软件方面的精妙技术,并深入研究了它们,展示了它们如何为 Nvidia 带来了当前的优势,或者未来在销售 GPU 加速系统方面可能带来的优势。

这让我们想到了 Nvidia 的研发支出,这笔支出相当大,但由于 Nvidia 过去一年半的收入和利润激增,这笔支出现在看起来微不足道。但毫无疑问:Nvidia 投入巨资打造未来,现在它从中受益最多,比地球上任何其他供应商都多。

早在 2008 年 11 月,当 Nvidia 在奥斯汀举行的 2008 年超级计算大会上首次在 HPC 模拟和建模领域阐述其 GPU 计算愿景时(这比第一届 GPU 技术大会在费尔蒙酒店举行,约有 1,500 名与会者),IBM 基于 AMD Opteron CPU 和 IBM PowerXCell 数学加速器的“Roadrunner”混合超级计算机刚刚在去年 5 月突破了高性能 LINPACK 基准测试的千万亿次浮点运算障碍。为了向您展示我们距离人工智能革命和当前现实有多远,太平洋西北国家实验室举办了一场小组讨论,题为“电力公司是否会在购买电力合同时赠送超级计算机? ”

但现实却大相径庭:你会为超级计算机和电力合同支付比你想象的预算更多的钱吗?也许我们会向 SC25 的人们提出这个问题作为小组讨论。而这一现实完全取决于 Nvidia 数据中心 GPU 的性能、功耗和成本。

而且,我们认为,未来出现差异的原因部分在于,尽管带有矢量和有时张量引擎的 CPU 也执行大量并行工作,但 Nvidia GPU 已成为 HPC、分析和 AI 工作负载的主力并行计算引擎。

如果 Nvidia 没有看到Brook Stream 处理编程语言的价值,那么这一切都不会发生。该语言将数学计算转移到 ATI(现为 AMD)和 Nvidia GPU 上的浮点着色器单元,并聘请其创始人 Ian Buck 创建现在所谓的 CUDA。数据中心对 GPU 计算的需求迫使 GPU 设计不断发展,其编程堆栈也随之发展。当世界创造了足够的数据,使自古以来(20 世纪 80 年代初)的 AI 算法能够真正发挥作用时,GPU 就是完成这项工作的最佳计算引擎,并成为 AI 革命的平台——具体来说,我们指的是经典机器学习。GenAI 及其基础模型只是 AI 创新浪潮中的第二波浪潮,未来很可能会出现许多波浪潮。在 Dally 的密切关注下,Nvidia Research 确保 GPU 芯片不断发展,并且可能在大量并行计算中表现良好的工作负载可以与未来的 GPU 相结合,并保持技术飞轮(从而保持金钱飞轮)转动。

但这需要投资。

我们直到 2010 年 4 月才开始跟踪 Nvidia 的财务状况,也就是其 2011 财年第一季度,因为其数据中心业务尚未实现。Nvidia 直到 2015 财年第一季度才公布数据中心部门的收入,当时的收入仅为 5700 万美元,而当时的总销售额为 11 亿美元,净收入为 1.37 亿美元。这并非毫无意义的——我们真的是这么认为的——Nvidia 在那个季度花费了 3.37 亿美元(占收入的 30.6%)用于研发,并且在过去两年中,其研发支出占收入的比例一直保持在新高,在 2014 财年第一季度达到顶峰,占收入的 34.2%。

这是 Nvidia 为利用第一波人工智能浪潮和为第二波浪潮做好准备所做的基础工作。而且请放心,它已经预测了第三波浪潮(它称之为物理人工智能),而且毫无疑问,它正在为第四波浪潮做准备。


现在,在外行看来,Nvidia 似乎正在大幅削减研发支出,我们应该担心其未来的投资。事实并非如此。事实是,Nvidia 之所以能够垄断 GPU 计算市场,是因为它花了二十年时间创建了 CUDA 平台,该平台收集了超过 900 个库、框架和模型,支撑着世界上每一个加速的 HPC 和 AI 应用程序,而且它可以为现代数据中心 GPU 运行 AI 训练工作负载所需的稀缺 HBM 内存支付绝对最高的价格,并且由于思路链或推理模型的计算需求,它越来越多地用于 AI 推理。

如果 HBM 不是那么稀缺和昂贵,AMD 的 DRAM 将会与 MI250 和 MI300 GPU 竞争,并且其 GPU 销量也会比现在多得多。但是 HBM 非常稀缺,AMD 无法像 Nvidia 那样支付那么多钱。但是,对于某些用户子集(HPC 人群)来说,CUDA X 堆栈(Nvidia 软件的名称)并不像对 AI 人群那样重要,AI 人群站在 HPC 人群的肩膀上,无论他们如何抗议。(例如,NCCL 是一个经过修饰的 MPI。)这就是为什么你会看到 AMD 用其 GPU 追求传统的 HPC 中心,并在那里获得关注,因为 HPC 中心在计算方面对价格极为敏感。AI 客户通过计算来制作有望赚钱的模型,他们可以找到任意数量的投资者来实现这一目标。HPC 中心依靠州和国家政府。

回顾过去十五年,你会发现 Nvidia 的研发支出占营收的 20% 到 25% 之间,这与 Meta Platforms 在同一时期接手设计自己的服务器、存储、网络和数据中心以来所做的差不多。谷歌倾向于将营收的 15% 到 20% 用于研发,甲骨文也是如此。微软的研发支出约为 15%,上下浮动不大,亚马逊的研发支出则低几个百分点。AMD 的研发支出过去在 15% 到 20% 之间,但现在与 Nvidia 处于同一水平。但是,在过去的十二个月里,Nvidia 的销售额为 1305 亿美元,是 AMD 258 亿美元的 5.1 倍。

尽管如此,尽管 Nvidia 在 GenAI 热潮期间一直在增加研发预算,但它并没有将 20% 到 25% 的收入用于研发。事实上,自 2023 年夏季 GenAI 热潮使 Nvidia 的收入和收益飙升以来,其销售额占比一直呈下降趋势。在过去的 12 个月中,它的平均收入略低于 10%。但与 2024 财年相比,这仍然代表着 2025 财年增长了 48.9%,研发总额为 129.1 亿美元。

这张对数图可以更好地展示 Nvidia 研发支出增长的稳定性:


我们不知道这个数字中有多少是研发,有多少是开发,但我们认为,随着 Nvidia 接管越来越多的数据中心硬件和软件堆栈,研发投资将稳步增长,开发成本也将激增。很难准确说出。

正如 Dally 所说,Nvidia Research 大致将其分为两个部分,即所谓的供给方和需求方。


供应方涉及从电路到系统架构等各个方面的研究,其明确任务是提供“让 GPU 变得伟大的技术”,正如他所说。这种供应方研究现在包括 GPU 存储系统和安全性,它们是任何商业 AI 系统不可或缺的一部分。

需求方是对各种应用领域进行研究,以便加速计算领域不断扩大,从而推动对 Nvidia GPU 的需求。有两个不同的 AI 小组,一个在多伦多,另一个在特拉维夫,还有一个在圣克拉拉,从事应用深度学习研究。台湾的实验室是进行生成式 AI 工作以及多模态学习和 3D 视觉的地方。有专门的 AI 实验室专注于机器人和自动驾驶汽车,其他小组专注于大型语言模型或高效的 AI 算法。显然有三个小组专注于图形,一个小组从事量子物理和化学。

Nvidia Research 刚刚组建了一个量子计算研究小组,试图评估该技术的现状,并了解 Nvidia 何时何地能够抓住这一机遇。

偶尔,大家也会有 Dally 所说的“登月计划”,即来自 Nvidia 研究机构和产品部门的研究人员将一项新技术付诸实践。RT 核心是显卡的一部分(因此一些推理卡卖给了数据中心),用于加速光线追踪的处理,这就是登月计划的一个例子。该项目于 2013 年启动,RT 核心于 2017 年进入“图灵”GPU。

Nvidia 可能有大约 500 名研究人员,他们正式隶属于 Nvidia Research,但还有数千名来自产品组的工程师,他们也是某些项目的一部分。Nvidia 目前拥有大约 36,000 名员工,我们估计其中 75% 从事软件工作,这是过去至少十年来 Nvidia 员工的传统份额。

Nvidia Research 向产品部门转移的最成功的技术之一是 NVLink 和 NVSwitch,这是我们之前讨论过的。但在 GTC 2025 的主题演讲中,Dally 进一步阐述:

“我实际上在 2012 年左右从能源部获得了一份合同,当时我们正在为 Oak Ridge 建造超级计算机,”Dally 解释道,他指的是 IBM 是“Summit”超级计算机的主要承包商的合同。“作为这些项目的一部分,有研发资金。所以我申请了一些资金来开发 GPU 网络。我记得,当时,能源部希望分摊该项目的成本。他们希望 Nvidia 支付 40%,能源部支付 60%。我去找 Jensen,他说,“绝对不行。是的,我们不做网络。我们是一家 GPU 公司。”所以我回到了能源部,幸运的是,他们 100% 资助了开发第一个 NVSwitch 和第一个 NVLink 的项目。从那时起,实际上,这些项目在我们完成之前就被夺走了,他们意识到他们需要让几个 GPU 看起来像一个大 GPU。从那时起,Nvidia 就一直参与网络业务。”

但达利表示,对于 Nvidia Research 来说,最重要的技术转移可能是机器学习。

“因此,在 2011 年与斯坦福同事吴恩达共进早餐后,我让 Nvidia Research 参与了机器学习,”Dally 回忆道。“当时他告诉我,他在 Google Brain 使用 16,000 个 CPU 在互联网上寻找猫。我想,哇,我们可以用 GPU 做到这一点,而且花费的资源少得多。所以我指派当时担任编程系统研究员的 Brian Catanzaro 与 Andrew 合作,他将该软件移植到 48 个 GPU 上运行,实际上在 48 个 GPU 上运行速度比在 16,000 个 CPU 上运行速度更快。该软件变成了 cuDDN,并引领我们走上了如今深度学习的道路。”

多年来,技术转让取得了许多成功,以下是一些例子:


Dally 在本次 GTC 上谈到的技术之一是接地参考信号,早在 2019 年夏天的 Hot Chips 上,他就曾与我们讨论过这项技术。GRS 是一种单端信号技术,为了将其大大简化,它允许 Nvidia 通过有机基板上的导线驱动两倍的每针带宽,这是其他差分信号技术的两倍,也是芯片边缘每毫米带宽的两倍。六年后,GRS 信号被用于将 Nvidia 的“Grace”CG100 CPU 与 DGX GB300 系统中即将推出的“Blackwell”B300 GPU 连接起来。


早在 2013 年,当 GRS 研究刚刚开始时,Nvidia 就能以大约半皮焦耳/比特的速度传输 25 Gb/秒的信号,但为了使信号更稳定,它在生产 GRS 时将其提升到大约 1 皮焦耳/比特。Dally 说,典型的 PCI-Express 链路需要大约 5 皮焦耳到 6 皮焦耳/比特的信号。

每天抛出新想法,我们期望这些想法最终能成为产品。这是插入器上基于反相器的信号,例如,您可以在单个封装上将多个 GPU 芯片相互连接:


以下是 Nvidia 针对 3D 芯片堆叠的互连方法:


以下是 3D 堆叠与中介层在每引脚带宽以及推送信号所消耗的每位飞焦耳方面的比较:


它会一直持续下去,正如你从观看 Dally 在 GTC 2025 上的 Nvidia Research 演示以及他多年来在各种活动中所做的演示中所看到的那样。

当时,IBM 非常富有,可以进行任何它想进行的研究。后来,当公司在 20 世纪 90 年代初陷入困境,蓝色巨人距离破产只有一步之遥时,唯一一位从外部聘请的 IBM 首席执行官路易斯·郭士纳 (Louis Gerstner) 所做的第一件事就是让 IBM 研究部门专注于解决影响真正客户的问题。

Nvidia 从未需要重新集中研究人员和工程师来实现这一点。他们所做的就是这些。希望 Nvidia 现在的收入来源和净收入池非常丰富,公司不会过度沉迷于研究,担心会错过即将到来的下一波浪潮。它所需要做的就是坚持自己的 GPU knitting,,而其路线图表明这就是计划。

还有一件事需要考虑:Nvidia 并不是什么都发明的,但它确实发明了它认为需要与竞争对手区分开来或开拓新市场的东西。例如,Nvidia 从第三方购买 PCI-Express 交换机和重定时器。它从多个供应商那里购买 DRAM、GDDR、HBM 和闪存。它对从外部引进的技术的特定用例有偏好,并在有必要的情况下保持中立。当它想以比从头开始创建技术更快的速度为客户做某事时,它会收购公司——Mellanox Technologies 就是一个很好的例子,Cumulus Networks 和 Run.ai 也是如此。

https://www.nextplatform.com/2025/03/30/nvidia-research-the-real-reason-big-green-commands-big-profits/

半导体精品公众号推荐

专注半导体领域更多原创内容

关注全球半导体产业动向与趋势

*免责声明:本文由作者原创。文章内容系作者个人观点,半导体行业观察转载仅为了传达一种不同的观点,不代表半导体行业观察对该观点赞同或支持,如果有任何异议,欢迎联系半导体行业观察。

今天是《半导体行业观察》为您分享的第4080期内容,欢迎关注。


『半导体第一垂直媒体』

实时 专业 原创 深度

公众号ID:icbank

喜欢我们的内容就点“在看”分享给小伙伴哦

fund

半导体行业观察

2025-04-02

半导体行业观察

2025-04-02

半导体行业观察

2025-04-02

半导体行业观察

2025-04-02

半导体行业观察

2025-04-02

证券之星资讯

2025-04-02

首页 股票 财经 基金 导航