还记得十年前，我们对人工智能的想象吗？科幻电影里的智能助手、会下棋的超级计算机，似乎遥不可及。可谁能想到，今天我们的智能手机里就藏着一个个小小的 AI 助手，帮我们规划行程、回答问题，甚至还能创作文章。这一切的背后，有一家不可或缺的公司在默默推动着这场 AI 革命 —— 英伟达。
图源：Bg2
近日，英伟达的 CEO黄仁勋做客 Bg2 Pod 节目，在节目上与两位主持人探讨了由英伟达主导的 AI 发展，还深入讲解了英伟达在硬件创新和 AI 生态发展上的努力。节目中黄仁勋还强调了英伟达独特的做法，即注重对 AI 发展的全面理解，同时解决数据整理、模型训练和推理方面的挑战。展望计算的未来，黄仁勋强调了 AI 领域的万亿美元市场机遇，并强调了安全、监管和开源模型对于鼓励创新和负责任地采用 AI 技术的重要性。
超越摩尔定律，重塑计算
自 AI 开始进入大众视野，AI 的发展速度就如脱缰的野马，开始狂奔。对于黄仁勋这种已经在 AI 领域徘徊了十多年，甚至更长时间的人来说。主持人就抛出了第一个问题，询问黄仁勋这是否是其职业生涯中所见过的技术发展变化最快的时候吗？
黄仁勋则表示，这全都要归功于英伟达重新定义了计算。因为他们在过去的 10 年间将计算的边际成本降低了 10 万倍，而同一时间摩尔定律大约也才 100 倍。
图源：Bg2
英伟达为了实现这个目标，引入了多种方式才最终做到了这一点，比如引入了加速计算，将在 CPU 上效果不佳的工作转移到 GPU 上来实现；发明了 Tensor Core 这种新型处理核心，在保持计算精度的同时，通过降低数据精度来提高计算效率；使用了HBM这种非常快的内存，并通过 NVLink 和InfiniBand扩展整个栈。
事实证明，机器学习的惊人之处在于机器学习可以非常快地学习。因此，当英伟达重新构建计算分配方式时，进行了各种类型的并行处理。比如张量并行、管道并行、各种类型的并行，他们也变得擅长在此基础上发明新算法和新训练方法。
所有这些发明、创新相互叠加，才形成了如今技术能够快速发展的结果。
英伟达的护城河
过去人们有一种观念，认为一旦有人发明了一种新的芯片，一种更好的芯片，他们就赢了。但事实是，过去十年英伟达一直在构建从 CPU、GPU、再到网络的完整技术栈，尤其是使应用程序能够在英伟达 GPU 上高效运行的软件和库。
图源：Bg2
人们这样认为（而且许多人仍然如此）的原因是，你设计了更好的芯片，它有更高的浮点运算、位宽和字节，以及各种产品发布会中的对比表格、条形图，都在说明他们产品的 “马力” 有多大，“马力” 越大自然速度越快。
但在黄仁勋看来，虽然 “马力” 也确实很重要，但不幸的是，这却是一种过时的思维。
黄仁勋表示，因为软件曾经是某个在 Windows 上运行的应用程序，软件是静态的，预编译的。在这种观念下，这意味着改进系统的最佳方法就是制造越来越快的「船只」，但我们知道机器学习不是人类编程，机器学习也不仅仅是软件，这涉及整个数据管道。
很多人认为 PyTorch 就是 AI 世界的开始和结束，实际上在开始 AI 模型训练之前，就已经涉及大量的数据处理。在 PyTorch 之前，有很多涉及 AI 的工作需要处理，在 PyTorch 之后，同样还有很多工作要做，PyTorch 只是整个流程的一步。你必须考虑如何让整个流程转得更快，需要加速每个部分，需要遵循阿姆达尔法则。
阿姆达尔定律表明，如果这个步骤占用了 30% 的时间，而我将其加速了三倍，那么我并没有真正将整个流程加速三倍那么多，这就是其中的道理。你需要创建一个加速每一个步骤的系统，因为只有在完成整个过程时，才能真正实质性地改善整个周期时间。
因此在黄仁勋看来，英伟达如今的优势比三到四年前更大，英伟达的竞争优势不仅仅在于卓越的芯片，他们改进了每个组件，主导着从数据准备、模型预训练到实际训练和部署的每个阶段，优化整个过程，而不仅仅是单个部分。
英伟达相对于英特尔的竞争优势
在访谈中，黄仁勋将公司的成功与英特尔过去的统治进行了比较。
他表示英特尔是非凡的（Intel is extraordinary），他之所以非凡，是因为他们可能是第一家在构建芯片、制造、工艺工程制造方面都非常出色的公司。设计芯片和构建 x86 架构的芯片，以及制造越来越快的 x86 芯片，这就是他们的优势，他们将这一点与制造相结合。
话锋一转，黄仁勋表示英伟达则有一点不同，在他们看来，实际上 GPU 并行处理并不要求每个晶体管都表现出色，而英特尔的串行处理则要求每个晶体管都表现出色。
并行处理需要大量的晶体管以提高成本效益，我宁愿拥有 10 倍的晶体管，速度慢 20%，也不愿意减少 10 倍的晶体管，速度快 20%，我们与英特尔就像是完全相反的。
单线程性能、单线程处理和并行处理是非常不同的，但并行计算也有它的难点，因为每个算法都需要为不同的架构以不同的方式来重构。
图源：Bg2
对此，黄仁勋还举了一个例子：
人们没有意识到的是，你可以拥有三种不同的 CPU ISA，他们都有各自的 C 编译器，开发者可以使用这些编译器轻松地将软件编译为针对该 ISA 的，而在加速计算、并行计算中这是不可能做到的，在这个领域提出新架构的公司必须提出自己的 OpenGL，我们凭借 cuDNN 的特定领域库彻底改变了深度学习。很少有人会谈论 cuDNN，因为它是 PyTorch 和 TensorFlow 之下的一层，但如果我们没有发明它，那么上面的任何应用程序都无法工作。
投资 OpenAI
OpenAI 最近刚刚完成了 66 亿美元的融资，公司估值达到了 1570 亿美元，而英伟达同样也参与了这轮融资。
黄仁勋在采访中对 OpenAI 给予了高度评价，称其为「我们这个时代最具影响力的公司之一」。他认为 OpenAI 在推动公众对 AI 的认知和使用方面发挥了重要作用。
与此同时，在本次采访中还给出了一些有关 OpenAI 的数据，从这些数据也能看出，OpenAI 似乎有潜力成长为像 Google 和 Meta 这种规模的公司。
-
OpenAI 今年的收入将达到 50 亿美元左右，明年可能增长到 100 亿美元。
-
目前 OpenAI 每周平均用户数约为 2.5 亿，是 Google 上市时的两倍。
-
按照明年 100 亿美元收入计算，OpenAI 的估值约为前瞻性收入的 15 倍，这与 Google 和 Meta 在上市时的估值倍数相当。
-
值得注意的是，仅在 22 个月前，OpenAI 还没有任何收入和用户。
黄仁勋还表示，未来无论是生物学家、材料研究人员、物理学家、天体物理学家、还是游戏设计师、工程师，他们无一例外都将在工作中大量依赖 AI。同时，他也暗示未来可能会出现模型层的整合，只有少数公司能够持续投资下一代模型研发。
19 天完成 xAI 工厂建设
在今年 7 月，马斯克曾在社交平台 X 上宣布，他的人工智能公司 xAI 已开始在美国孟菲斯市的 "Memphis Supercluster" 超级集群上进行 AI 模型训练，马斯克还称这是全球最强大的 AI 训练集群。该集群由 10 万个液冷 H100 GPU 组成，采用单一 RDMA 架构。
图源：X
关于马斯克的 xAI 项目，黄仁勋在访谈中分享了一些令人印象深刻的细节。首先 xAI 在极短时间内建立了这个包含 10 万个英伟达 GPU 的超级计算集群，从概念到数据中心准备就绪，再到英伟达的设备安装完毕并完成首次训练，整个过程仅用了 19 天。
黄仁勋认为这就是「超人类的壮举」，并赞扬马斯克在工程和大规模系统构建方面的独特能力，而且他还透露，过去想要建造这样规模的超级计算机通常需要 3 年的规划和 1 年的安装调试时间。
不过黄仁勋也提到，虽然这个集群可能是世界上最快的超级计算机，但未来可能会出现 20-30 万 GPU 甚至更大规模的集群。英伟达现在也正在研究分布式训练等技术，以应对未来的计算需求，而不仅仅依赖于单个大规模集群。
万亿市场机遇
图源：Bg2
黄仁勋预测，数据中心现代化和建设新的 AI 数据中心将带来价值 2 万亿美元的巨大市场机会。英伟达处于独特的地位，可以利用这种融合，满足基础设施升级和人工智能驱动的应用程序不断增长的需求。当然，这也预示着其他 AI 芯片厂商在这个巨大的市场上也能够分到一杯羹。
英伟达的战略定位
贯穿整个访谈，黄仁勋多次强调英伟达的定位是“市场创造者，而非市场份额争夺者”。他表示英伟达的目标是构建一个无处不在的计算平台，为 AI 时代提供基础设施。这种战略思维使英伟达能够专注于长期技术创新，而不是短期的市场竞争。
AI 助手在英伟达内部的应用
黄仁勋透露目前英伟达已经在内部广泛使用 AI 助手，其中包括:
-
网络安全系统依赖 AI 代理；
-
AI 芯片设计师、AI 软件工程师和 AI 验证工程师参与新一代 GPU 的设计；
-
黄仁勋展望未来英伟达可能会拥有 5 万名人类员工和 1 亿个 AI 助手；
黄仁勋在访谈中还谈到了以下这些要点：
-
AI 安全和监管：黄仁勋强调了 AI 安全的重要性，但他认为目前业界在这方面的努力被低估了。他指出许多公司正在开发用于确保 AI 安全的技术，如数据审查、模型对齐、合成数据生成等。关于监管，他建议应该更多地关注 AI 的具体应用，而不是过度依赖一个统一的 AI 监管机构。
-
开源与闭源模型：黄仁勋支持开源和闭源模型并存，他认为闭源模型对维持创新的经济模式很重要，而开源模型则能够激活各行各业对 AI 的应用。
-
个人观点与未来展望：黄仁勋表示，尽管工作并不总是有趣，但他始终热爱这份工作并认真对待英伟达的责任。他认为 AI 能帮助他保持学习能力和相关性，使他能够继续为这个重要时刻做出贡献。
-
AI 当前的快速发展有望显著提高人类生产力，有可能扭转最近生产力增长放缓的趋势。拥抱 AI 的公司可能会经历更高的效率和增长，从而创造更多的就业机会而不是裁员。
本次访谈全程约一个半小时，本文只提取了其中一些重点内容，对此次访谈感兴趣的读者可以访问以下链接查看完整内容：
