kaiyun官网
News Center
新闻中心
新闻中心 您的位置: 首页 > 新闻中心
英伟达 GPU 一战成神:黄仁勋押注人工智能建起万亿美元显卡帝国
2023-12-02 03:12:30 作者: 新闻中心

  AI 的火爆使得英伟达的市值水涨船高,成功跻身万亿美元俱乐部,作为公司的灵魂人物,黄仁勋一路走来经历了哪些故事?这位皮衣客又是如何一步步建立了他的显卡帝国?

  从神经网络 AlexNet、到 ChatGPT,再到生成式 AI 的大爆发,英伟达的 GPU 功不可没。

  在这场 AI 淘金热中,英伟达的市值水涨船高,成功进入万亿美元俱乐部,成为全世界第 6 大市值最高的公司。

  人人皆知乔布斯、盖茨等科技巨人的故事,而一直不愿意抛头露面的老黄,除了一身皮衣,更多的经历鲜有人知。

  这次,纽约客的最新采访深挖了老黄创业历程、管理方式、以及如何带领英伟达走向成功的过程。

  黄仁勋和一个 17 岁的室友住在一起,他教室友识字,作为交换,室友教他卧推。每天晚上睡觉前,黄仁勋都要做一百个俯卧撑。

  当时,校长向大家介绍了这位身材矮小、留着长发、操着浓重口音的亚洲移民。然而,也正因为这些特质,让黄仁勋饱受同学的霸凌。

  黄仁勋高中时成绩优异,是全国排名靠前的乒乓球运动员。他参加了学校的数学、计算机和科学俱乐部,跳了两级,16 岁就毕业了。—— 但是他也表示「我没有女朋友。」

  在入门课上,他的实验搭档是 Lori Mills,认真、呆萌、有着一头棕色卷发。

  据黄仁勋回忆,当时电子工程专业有 250 个学生,大概只有三个女生。男生们争相吸引 Mills 的注意,黄仁勋感觉自己处于劣势。「我是班里最年轻的孩子,看上去只有 12 岁左右」。

  —— 然而,每个周末,黄仁勋都会给 Mills 打电话,缠着她一起做作业。

  「我想给她留下深刻印象,不是因为我的长相,而是因为我完成作业的能力很强。」

  毕业后,黄仁勋和 Mills 在硅谷找到了一份微芯片设计师的工作 ——「她实际上比我挣的多」。

  后来两人结婚了,几年后,Mills 离开了工作岗位,去抚养他们的孩子。那时,黄仁勋慢慢的开始经营自己的部门,晚上则在斯坦福大学读研究生。

  Malachowsky 和 Priem 希望设计出一种图形芯片。最初他们给公司起名叫 NVision,但后来得知这一个名字已经被一家卫生纸制造商使用。

  黄仁勋建议使用英伟达,取自拉丁文 i 英伟达,意为「嫉妒」。他选择丹尼餐厅(Dennys)作为组织业务的场所,是因为这里比家里安静,而且有便宜的咖啡。

  他曾于 1980 年代在俄勒冈州的连锁餐厅工作过。「我发现,在逆境中我的思维最活跃。」

  黄仁勋喜欢电子游戏,他认为市场需要更好的图形芯片。那时,艺术家们开始用被称为「基元」的形状来组装三维多边形,而不是手工绘制像素,这样做省时省力,但需要新的芯片。

  英伟达的竞争对手使用三角形作为基元,但黄仁勋和同伴决定改用四边形。—— 不过后来证明这是一个错误,差点毁了公司。因为在英伟达发布第一款产品后不久,微软宣布其图形软件将只支持三角形。

  由于,黄仁勋决定回到传统的三角形方法。1996 年,他裁掉了英伟达一百多名员工中的一半,然后把公司剩余的资金押在了未经测试的微芯片生产上,他不确定这些微芯片是否能成功。

  当这款名为 RIVA 128 的产品上市时,英伟达的资金仅够支付一个月的工资。但这场赌博得到了回报,英伟达在四个月内卖出了一百万台 RIVA。

  黄仁勋鼓励他的员工带着绝望的情绪继续出货,在以后的日子里,每逢面对员工演讲,他的开场白就是「我们公司还有三十天就要倒闭了」。这句话至今仍是公司的非正式座右铭。

  位于圣克拉拉( Santa Clara)的英伟达总部中心有两座巨大的建筑,每座建筑都呈三角形。从沙发、地毯到小便池的防溅罩,整个大楼内部都是这种形状的缩影。

  每栋大楼的顶层都有一个酒吧,公司鼓励员工把办公室当作灵活的空间,在这里用餐、编码和社交。如果员工在会议桌上用餐,AI 可以在一小时内派遣清洁工进行清理。在股价上涨之前,英伟达就被评为美国最佳工作场所之一。

  在标准计算机体系结构中,大部分工作由被称为中央处理器(CPU)的微型芯片完成。几十年来,CPU 的主要制造商一直是英特尔,英特尔曾多次试图迫使英伟达退出市场。

  黄仁勋描述英伟达与英特尔之间的关系是「Tom and Jerry relationship」—— 每当他们靠近,我们就拿起芯片跑路。

  对此,英伟达采用了另一种方法。1999 年,公司在上市后不久就推出了名为 GeForce 的图形卡。

  与通用 CPU 不同的是,GPU 把复杂的数学任务分解成小的计算,然后用并行计算的方法一次处理完。CPU 的功能就像一辆送货卡车,一次送一个包裹;而 GPU 则更像一支摩托车队,在城市中穿梭。

  GeForce 系列取得了成功。《Quake》(《雷神之锤》)系列视频游戏推动了它的流行,该游戏使用并行计算来渲染玩家也可以用榴弹发射器射击的怪物。

  《Quake》系列还推出了多人对战的模式,PC 游戏玩家为了获得优势,每次升级都会购买新的 GeForce 显卡。

  2000 年,斯坦福大学计算机图形学的研究生 Ian Buck 将 32 块 GeForce 显卡连接在一起,使用 8 台投影仪玩 Quake。—— 这是第一台 8K 分辨率的游戏机,它占据了整面墙。「It was beautiful.」

  GeForce 显卡附带了一种叫做「着色器」的原始编程工具。在美国研究机构 darpa 的资助下,Ian Buck 黑进了着色器,访问了下面的并行计算电路,将 GeForce 变成了一台低成本的超级计算机。

  自 2004 年以来,Buck 一直负责英伟达超级计算软件包(CUDA)的开发工作。黄仁勋的愿景是让 CUDA 能够在每一块 GeForce 显卡上运行。

  在 Buck 开发软件的同时,英伟达的硬件团队开始在微芯片上为超算分配空间。英伟达的首席芯片工程师 Arjun Prabhu 将微芯片设计比作城市规划,芯片的不一样的区域专门用于执行不同的任务。

  2006 年底,当 CUDA 发布时,华尔街的反应是惊愕。黄仁勋将超级计算带给了大众,但大众并没有表现出他们要这样的东西。

  硅谷流行播客《Acquired》的主持人 Ben Gilbert 表示,英伟达花了数十亿美元瞄准学术和科学计算的一个不起眼的角落,而这在当时并不是一个大市场。

  黄仁勋认为,CUDA 的存在将扩大超级计算领域。但这一观点并未得到普遍认同。

  20 世纪初,提起 AI,完全是一个冷门的学科。AI在图像识别、语音识别等领域的进展一直止步不前。

  在这个不受欢迎的学术领域中,使用「神经网络」(受人脑启发的计算结构)来处理问题,更是没有正真获得许多计算机科学家的青睐。

  当时,深度学习研究员 Bryan Catanzaro 劝阻老黄,「不要研究神经网络。因为当时人们认为,这已经过时了,而且不起作用」。

  Catanzaro 还将继续研究神经网络的研究人员,统一称为「荒野中的先知」。

  这其中的一位先知,便指的是从多伦多大学教授退休、有 AI 教父之称的 Geoffrey Hinton。

  2009 年,Hinton 的研究小组使用英伟达的 CUDA 平台,训练了一个神经网络来识别语音。

  没想到,这项研究结果的质量,让 Hinton 本人感觉到很惊讶,并在当年的一次会议上汇报了结果。然后,他主动联系了英伟达。

  「我发了一封电子邮件说:『听着,我刚刚告诉上千名机器学习研究人员,他们应该去购买英伟达显卡。你能免费送我一块吗?』」。

  尽管受到了冷落,Hinton 还是鼓励自己的学生使用 CUDA,包括自己引以为傲的高徒 Alex Krizhevsky。

  然后,Krizhevsky 开始在英伟达的并行计算平台上,训练视觉识别神经网络 ——AlexNet,一周内就向其输入了数千万张图像。

  Hinton 回忆道,「他的卧室里那两块 GPU 一直嗡嗡运转不停,可想而知,他父母一定支付了相当可观的电费」。

  随后,Krizhevsky 和小伙伴一起带着 AlexNet 参加了一年一度的 ImageNet 大赛,一举夺得冠军,第一个深度卷积网络模型就此诞生了。

  其实,2012 年早一点的时候,谷歌研究人员吴恩达、Jeff Dean 曾训练了一个可以「识别猫」的神经网络。

  谷歌这项工作使用了大约 1.6 万个 CPU,而 Sutskever 和 Krizhevsky 仅用 2 块英伟达电路板就产生了「世界级」的效果。

  然而,AlexNet 在比赛中得分如此之高,以至于组织者最初怀疑 Krizhevsky 是否以某种方式作弊。因为神经网络在当时并不受欢迎,Ilya 和 Krizhevsky 是唯一一个使用这种技术的参赛团队。

  Krizhevsky 开创了许多重要的编程技术,但他的主要发现是,「专用的 GPU 可以训练神经网络,速度比通用 CPU 快 100 倍」。

  随后几年内,ImageNet 竞赛的每个参赛者都在用上了「神经网络」。到 20 世纪 20 年代中期,在 GPU 上训练的神经网络识别图像的准确率达到了 96%,远超于了人类。

  他表示,「事实上,它们现在能解决完全非结构化的计算机视觉问题,那么接下来,你还能教它做什么?」

  黄仁勋总结说,神经网络将彻底改变社会,他可通过 CUDA 占领必要的硬件市场。

  他在周五晚上发出一封邮件,「一切都将转向深度学习,我们不再是一家图形公司。从下周一早上开始,我们是一家人工智能公司」。

  就在黄仁勋发送那封电子邮件之时,他找到了英伟达首席人工智能研究员 Catanzaro,进行了一次思想实验。

  Catanzaro 表示,「他让我想象,把英伟达的 8000 名员工都带进停车场,然后我能自由地从停车场选择任何人加入自己的团队」。

  Andreessen Horowitz 公司的 Marc Andreessen 在 2016 年表示,「我们从始至终在投资许多将深度学习应用于许多领域的初创公司,每一个企业都有效地建立在英伟达的平台之上」。

  大约在当时,英伟达向 OpenAI 的研究小组,交付了第一台专用的人工智能超级计算机 DGX-1。

  黄仁勋亲自把 DGX-1 带到了 OpenAI 的办公室,是由时任董事长的马斯克开箱。

  2017 年,谷歌的研究人员提出了 Transformer 的神经网络架构。次年,OpenAI 的研究人员便使用谷歌的框架构建了第一个「生成式预训练 Transformer」。

  GPT 模型在英伟达超级计算机上进行训练,使用了大量的文本语料库,并学习怎么样建立类似人类的联系。

  2022 年底,经过多年迭代,当红炸子鸡 ChatGPT 终于面向公众发布。

  其中,最强悍的 DGX H100,一个重达 160 多公斤的金属盒子,价格高达 50 万美元,已经缺货了数月。

  应用于神经网络的解决能力越强,其输出就越复杂。对于最先进的 AI 系统,或许需要数十个英伟达 DGX H100。

  如果这还不够,英伟达将把这些计算机像图书馆堆栈一样排列,用价值数千万美元的超级计算设备填满数据中心。

  在接下来的几年里,英伟达的硬件将加速进化到计算机时钟周期的速度,从而训练出各种类似的人工智能模型。

  巨大的利润让所有开发 AI 训练硬件的谷歌、特斯拉,以及初创公司都垂涎欲滴。

  自 2014 年以来,AMD 一直由另一位才华横溢的工程师苏姿丰(Lisa Su)经营。自她成为公司负责人以来的几年里,AMD 的股价上涨了 30 倍,使她成为这个时代最成功的半导体 CEO,仅次于黄仁勋。

  老黄本人很少接受采访。他表示,「我并没有做什么特别的事,主要是我的团队的努力,我也不确定为什么我被选为首席执行官,我并没有一点特别的驱动力」。

  当老黄下定决心在 30 岁经营一家公司的时候,他的联创 Chris Malachowsky 说,「你真的不是一个好演讲者,因为你比较内向」。

  老黄表示,「我只有一个超能力 —— 做作业」。英伟达软件主管 Dwight Diercks 称老黄可以在一个周末掌握任何课题。

  黄仁勋更喜欢敏捷的公司结构,没固定的部门或等级制度。取而代之的是,员工每周提交一份清单,列出他们正在做的 5 件最重要的事情。

  而他自己,每天也要写几百封回复的邮件,与员工聊天,通常仅有几句话。一位高管将这些邮件比作俳句,另一位还比作赎金票据。

  在安排任务时,老黄会要求员工考虑「光速」。这不仅意味着快速行动; 相反,员工应思考一项任务能够实现的绝对速度,然后朝着可实现的目标逆向努力。

  2000 年初,英伟达曾出货了一款有故障的显卡,风扇声音过大、过度活跃。

  然而,黄仁勋没有解雇该显卡的产品经理,而是安排了一次会议,让经理们向几百人介绍了,他们做出的每一个导致惨败的决定。

  黄仁勋表示,「这其实是我脑子里想的和嘴里说的不一致。当错位很严重时,就会表现为愤怒」。

  即便在他很冷静的时候,黄仁勋的强势也可能是压倒性的。一名员工形容,「与他交流就像把手指电插座里」。

  GPU 的销量暴涨,也让英伟达成为了世界算力霸主,成功进入万亿美元俱乐部。这背后离不开领导人黄仁勋的「疯狂式」的管理策略。

  广告声明:文内含有的对外跳转链接(包括不限于超链接、二维码、口令等形式),用于传递更加多信息,节省甄选时间,结果仅供参考,IT之家所有文章均包含本声明。