详细资料

分类：商业

发布于 2025年2月12日

　　DeepSeek同时考虑算法精度和系统效率。除了极致的底层优化，协同优化也可能让大模型在利用国产算力时达到甚至超越英伟达GPU的性能。从最顶层的产品应用到底层的基础设施，大模型的每一个层级都已经形成了非常好的生态，每一个层级上都存在着优化空间。

　　·未来推理算力或将有2-3个数量级的提升。训练算力需求仍会有所增长，总体来看，算力需求会激增，成本会更高，但算力成本还有巨大压缩空间，单位算力成本将下降，效率得到提升。

　　“原来大家觉得训练模型只需要招一批算法工程师，再融一大笔钱，买一大批卡，这事就能干了。但现在不是了，现在还需要招一批懂系统的人，这是AI行业的一个很大变化。”上海交通大学长聘教轨副教授、无问芯穹首席科学家戴国浩日前在接受澎湃科技采访时表示，DeepSeek使用的训练服务算力并没有随模型尺寸等比例成倍增加，而是通过底层优化释放底层硬件性能、软硬件协同创新“压榨”算力，大模型“炼制”开始追求极致性价比。

　　利用2048张H800 GPU，预估不到两个月时间训练DeepSeek V3。H800每小时每卡2美元租赁成本，训练成本550万美元左右，其中不包括前期探索模型架构、消融实验等开销。戴国浩表示，DeepSeek打响生态闭环第一枪，对国产算力优化提出更清晰的路径。总体来看，算力需求会激增，推理算力或将有2-3个数量级的提升，算力成本会更高，但算力成本还有巨大压缩空间，单位算力成本将下降，效率得到提升。

　　上海交通大学长聘教轨副教授、无问芯穹首席科学家戴国浩。

　　底层优化释放底层硬件性能

　　拆解DeepSeek的技术报告，相对于模型架构、预训练方法和后训练方法，DeepSeek着重介绍系统架构。相比之下，国外开源模型的公开技术报告中对于系统架构的介绍篇幅较少。

　　戴国浩表示，DeepSeek的极致性价比来自于两大类优化，一是了解硬件细节，实现极致的底层优化;二是打通软件硬件，实现联合协同优化。前者基于确定性的算法模型及底层硬件，开展通信优化、内存优化，这些优化不改变任何程序执行结果。后者如混合精度的量化、对底层硬件的修改，扩大系统的优化空间。

　　例如在通信优化上，DeepSeek采用双向流水线机制，让计算和通信将近100%重叠，实现更大的专家并行，使得模型能够像流水线一样“边算边传”，这被认为是使用有限资源训练更大模型的有效手段。在底层优化上，PTX的优化使得系统和模型可以更好地释放底层硬件性能，这也是DeepSeek能够更精细控制底层硬件、实现“边算边传”的重要原因。

　　训练一个大模型，首先要有GPU。但开发者并不需要关注底层硬件的模样，只需要通过Python等高层次语言或英伟达CUDA等硬件接口进行编程，最终调用底层的GPU。而能够直接和底层硬件发生交互的PTX一般被隐藏在CUDA的驱动中，PTX是比CUDA更底层的硬件接口编程语言。越接近底层的语言对硬件的利用效率越高，在同样硬件能力下实现更精细的通信任务管理，将最费时的跨界点通信效率提升60%，跑出效果更好的模型。

　　PTX编程并非行业机密，但此前几乎所有大模型算法工程师不会接触到这一层语言。因此，如果能够编程和调用PTX，就可以更好地调用底层硬件。不过，戴国浩解释，这并不意味着绕过了英伟达CUDA的垄断。从编程范式来看，DeepSeek在某些代码上绕过了CUDA的编程，但并未完全绕开CUDA生态。

　　软硬件协同创新“压榨”算力

　　“从最顶层的产品应用到底层的基础设施，大模型的每一个层级都已经形成了非常好的生态，每一个层级上都存在着优化空间。”戴国浩表示，除了极致的底层优化，协同优化也可能让大模型在利用国产算力时达到甚至超越英伟达GPU的性能。“原来的算法架构只考虑算法精度，大家觉得只要算法足够好就行了，但DeepSeek同时考虑算法精度和系统效率。”

　　例如英伟达H800集成了FP8计算单元，戴国浩表示，使用更低精度训练，理论上可带来2倍的计算加速和50%的显存降低。但由于低精度训练极易损失模型效果，以及大模型高昂的试错成本，开源社区中尚无项目实现大规模FP8预训练落地。而DeepSeek实现了FP8低比特训练出高质量模型，坚定“榨干”硬件所有潜力。

　　DeepSeek采用MLA(隐空间注意力计算机制)架构和MoE(混合专家模型)架构，MLA架构可进一步降低推理消耗的内存。在模型训练过程中，MoE架构采用1个共享专家和256个路由专家，每个token激活8个路由专家。

　　据介绍，MoE架构训练超大模型，最大的挑战是负载均衡。DeepSeek引入一个专家偏见(expert bias)，保证专家负载均衡，提升集群效率。专家偏见只影响专家路由，不产生任何梯度影响。专家偏见动态调整，如果某个专家过载，就会降低偏见，如果某个专家负载不足，就会增加偏见。DeepSeek采用MoE架构，又在算法和软件层面解决了MoE本身由于专家并行带来的通信开销问题，充分挖掘了算法、软件、硬件协同创新。

　　打响国产AI生态闭环第一枪

　　“无论是底层优化，还是协同优化，必须要对底层硬件和系统有非常深刻的理解，既要懂算法，又要懂硬件。”戴国浩表示，以PTX编程为例，这需要开发者清晰了解英伟达的硬件是如何制造的，因此门槛高，大模型公司少有对PTX编程。业内拥有系统优化能力的团队懂PTX编程，但模型训练本身投入大，难以持续优化。

　　DeepSeek打响了第一枪，对国产算力优化提出了更清晰的路径。降低算力成本是国内发展大模型的核心之一。软硬件协同路径包含模型、系统、芯片等关键因素，在国外，这三者已经形成了完备的闭环生态。戴国浩表示，在以往的认知中，使用国外的芯片预训练、使用国外的模型做微调，得到的模型跟国外的闭源或开源模型相比总存在一定差距，国内的系统、芯片也难以形成闭环生态。但DeepSeek的出现使得国内的模型超越了国外的模型，软硬件协同降低了算力成本，这套方法论可以打破现在的闭环生态瓶颈。

　　戴国浩说，DeepSeek在论文中单独用2页文字提出对于未来硬件设计的发展建议，进一步佐证了模型、系统、硬件的闭环路线。国外的闭环AI生态始终是一个同构的AI系统，其核心竞争力就在于CUDA-X的垂直整合能力。因此，他认为，未来国内AI发展要通过调动跨越软硬件和上下游生态，加大模型、芯片、系统协同优化和垂直打通，例如根据新一代模型架构来定义未来芯片的底层电路实现、根据国产AI系统的互联通信方式设计高效的混合专家模型架构。

　　“如何将国内的模型、系统和芯片形成自主可控的闭环，这是未来一定会发生的事。”戴国浩表示，DeepSeek的崛起对国产算力的发展是好消息。未来推理算力或将有2-3个数量级的提升。训练算力需求仍会有所增长。总体来看，算力需求会激增，成本会更高，但算力成本还有巨大压缩空间，单位算力成本将下降，效率得到提升。

　　戴国浩判断，未来大模型的发展趋势，一是继续国产化，二是极致的软硬件协同优化带来成本下降，提升模型训练和应用的极致性价比。性价比越高，算力需求量就越大，算力越吃紧。当前中国算力生态存在供不应求和供过于求的双重矛盾，中国特有的AI基础设施格局是多模型和多芯片，存在大量异构算力，需要把他们变得能用、好用，在使用闭环中形成硬件和算法的正向循环。戴国浩表示，要通过软硬协同和多元异构压榨算力，降低获取强大基座模型的成本，解决算力缺口，以有限算力实现国产模型能力赶超。

详细资料

分类：商业

发布于 2024年11月21日

　　英伟达今日公布了该公司的2025财年第三财季财报。报告显示，英伟达第三财季营收为350.82亿美元，同比增长94%，环比增长17%;不按照美国通用会计准则的调整后净利润为200.10亿美元，同比增长100%，环比增长18%(注：英伟达财年与自然年不同步，2024年1月底至2025年1月底为2025财年)。

　　英伟达预计2025财年第四财季营收将达375亿美元左右，超出分析师平均预期，但与最高预期的410亿美元相比存在差距。

　　详见：英伟达第三财季营收350.82亿美元 净利润同比大增109%

　　财报发布后，英伟达创始人、总裁兼首席执行官黄仁勋和执行副总裁兼首席财务官科莱特·克雷斯等高管出席随后召开的财报电话会议，解读财报要点并回答分析师提问。

　　以下是分析是问答环节主要内容：

　　Cantor Fitzgerald分析师C.J. Muse：在大型语言模型扩展规模方面，显然我们现在还处于非常早期的阶段，想知道公司是如何帮助客户处理模型扩展方面出现的问题的?当然，有些服务器集群尚未采用Blackwell架构，这是否会引发对该产品更大的需求?

　　黄仁勋：基础模型方面，预训练的扩展规模仍在进行且进展良好。这是我从观察中看到的，而非物理定律角度得出的判断，有证据表明它仍在不断扩展。然而我们认为仅仅这样是不够的，我们已经发现了另外两种扩展的方式。

　　一种是训练后扩展，当然，第一代训练后扩展是强化人类反馈，但现在我们有了强化学习人工智能反馈。而且所有形式的合成数据都已生成，这些数据有助于训练后扩展。其中，最重大、最令人振奋的进展之一就是ChatGPT o1(Strawberry)模型，它实现了推断时间扩展，也就是之前所讲的测试时间扩展。它思考的时间越长，给出的答案质量就越高，而且它会考虑使用像思维链、多路径规划以及各种各样思考所需的方法，有点像我们人类在回答问题之前先在头脑中进行思考的过程。所以我们现在已经有了三种扩展方式，也正因为如此，我们看到对公司基础设施的需求真的很大。

　　在上一代基础模型的末期，大概是十万个Hopper的规模，下一代则从十万个Blackwell开始，这样大家大概就能了解到这个行业在预训练扩展、训练后扩展，以及现在非常重要的推理时间扩展方面的发展趋势了，需求真的很大。

　　与此同时，对于我们公司来说，推理方面的扩展真的已经开始了，英伟达是当今世界上最大的推理平台，已安装的设备数量非常庞大，所有在Ampere架构和Hopper架构上训练的内容，其推理也令人难以置信地在Ampere架构和Hopper架构上进行。随着我们将Blackwell用于训练基础模型，未来同样会为推理留下了庞大的设备基数。

　　所以，我们看到推理需求在上升，推理时间扩展在上升，原生人工智能公司的数量在持续增长，当然，我们也开始看到企业对代理式人工智能(Agentic AI)的采用，这确实是当下最新的潮流，我们看到来自很多不同地方的大量需求。

　　高盛分析师Toshiya Hari：黄仁勋在今年早些时候进行了大规模变革，然后上周末有一些报道提到公司芯片产品出现的散热问题。另外，已经有投资者询问你如何执行今年在游戏开发者大会(GDC)上所展示的路线图，包括明年上市的Ultra芯片和2026年向Rubin平台的过渡等。能否请你讲讲这方面的情况?一些投资者对于公司能否按时执行计划存在疑问。另外一个问题关于供应短缺，我想知道是多种零部件导致了这种情况，还是具体是因为某种特定芯片或组件，比如CoWoS封装或者HBM芯片方面的问题?短缺的情况是在好转还是在恶化?

　　黄仁勋：关于最后一个问题，Blackwell的生产正在全力推进，正如科莱特之前提到的，我们本季度的交付量将会超过之前的预估。供应链团队在与供应伙伴合作以增加Blackwell的产量方面做得非常出色，而且我们会在明年继续努力提高其产量。目前的情况是市场需求超过了我们的供应，我们正身处在这场生成式人工智能变革初期，所以这是预料之中的。新一代能够进行推理、能够长时间思考的基础模型刚刚推出，其中一个非常令人振奋的领域便是实体人工智能，即能够理解真实世界结构的人工智能，所以Blackwell的需求非常强劲，我们的执行情况也很顺利，团队在全球范围内正在开展大量的工程工作。包括大家看到的戴尔和CoreWeave正在搭建相关系统，甲骨文公司搭建的系统，微软也有相关系统，即将采用Grace Blackwell系统，谷歌(Google)也有相关系统，所有这些云服务提供商都在争抢先机。

　　英伟达和这些公司一道开展相当复杂的工程工作，原因在于虽然我们构建了全栈和完整的基础设施，但我们需将这些人工智能超级计算机进行拆分，并集成到世界各地的定制数据中心和架构中。这个集成过程我们已经经历了好几代，现在已经很擅长了，但仍然有大量的工程工作要做，从所有正在搭建的系统来看，Blackwell的情况非常好，而且正如我们之前提到的，本季度我们计划发货的数量超过了之前的预估。

　　关于供应链，我们建造了七种不同的定制配置，以便交付Blackwell系统，这些系统可以采用风冷或液冷方式，有NVLink 8或NVLink 72，或者NVLink 8、NVLink 36、NVLink 72等不同组合，还有X86或Grace架构，将所有这些系统集成到世界各地的数据中心上，简直可以说就是一个奇迹。

　　要实现这样规模的产能提升，对应的所需零部件的供应链情况，你得回头看看我们上季度的Blackwell发货量是零，而本季度Blackwell系统的总发货量是以十亿为单位来衡量的，产能提升的速度令人难以置信，似乎世界上几乎每家公司都参与到了英伟达的供应链中，我们有很棒的合作伙伴，从台积电到安费诺(Amphenol)、Vertiv、SK海力士、美光、Spil、安普科(Ampcore)、京瓷(Kyec)，还有富士康(FOXconn)及其建造的众多工厂、广达(Quanta)、纬颖(Wiwynn)、戴尔、惠普(HP)、超微(Supermicro)、联想(Lenovo)等等。参与Blackwell产能提升的公司数量真的相当惊人，我非常感激这些合作伙伴。

　　最后，关于我们执行路线图的问题，公司有年度路线图，并且预计会继续按照年度路线图执行，这样做，我们当然能够提高平台的性能。同样非常重要的是，当我们以数倍的幅度提高性能时，我们就在降低训练成本、降低推理成本、降低人工智能的成本，使其能够更容易被大众所使用。另一个需要注意的重要因素是，一个固定规模的数据中心——数据中心总是有一定的固定规模，过去可能是几十兆瓦，现在大多数数据中心是一百兆瓦到几百兆瓦，我们还在规划千兆瓦级的数据中心——不管数据中心规模多大，电力都是有限的，而当你处于电力有限的数据中心时，每瓦特的最高性能会直接转化为我们合作伙伴的最高收益。

　　所以一方面，我们的年度路线图降低了成本，另一方面，因为我们每瓦特电力所创造的性能比其他任何产品都要好，我们为客户创造了尽可能高的收益，所以这个年度节奏对我们来说非常重要，据我所知，一切都在按计划进行。

　　瑞银分析师Timothy Arcuri：我想请管理层展望一下Blackwell芯片今年产能提升的情况。黄仁勋刚刚谈到Blackwell的情况比预期要好，我记得你提到发货量价值有几十亿美元，而且听起来1月份的发货量还会更多。我也记得几个月前你还说过，Blackwell在4月这个季度会超过Hopper，这一预测是否仍然有效?另外一个问题给科莱特，你提到随着Blackwell产能的提升，毛利率会下降到70%多一点，那么如果4月是产量的交叉点，是不是公司毛利率承受压力最大的时候?是不是从4月开始公司的毛利率就会处于70%多一点的低位?

　　科莱特·克雷斯：我们之前讨论过，在刚开始提升Blackwell的产能时，鉴于我们推向市场的多种不同配置、多种不同芯片，我们会着重确保客户在搭建相关系统时能拥有最佳体验。一开始我们的毛利率会有所下降，在这一轮供给的初期阶段，毛利率会处于70%多一点的低位。在此之后的几个季度里，我们会开始提高毛利率，并且希望能在这一轮产能爬坡的过程中非常快地恢复到75%左右的水平。

　　黄仁勋：Hopper的需求还将持续到明年，明年的前几个季度都会有需求。与此同时，Blackwell下一季度的发货量会比本季度多，再下一季度的发货量又会比(2026财年)第一季度多，通过这样的对比，大家应该能更清楚地了解情况。我们确实正处于计算机领域两项根本性转变的开端，意义相当重大。

　　首先，是从在CPU上运行编码转向在GPU上运行能创建神经网络的机器学习，这种从编码到机器学习的根本性转变目前已经非常普遍了，没有哪家公司不打算开展机器学习的，而机器学习也是催生生成式人工智能等技术的基础，全球价值万亿美元的计算机系统和数据中心如今正在为适应机器学习而进行现代化改造。

　　另一方面，利用这些系统，我们将要创造一种新型的能力，也就是我们熟知的人工智能。当我们谈到生成式人工智能时，本质上是说这些数据中心实际上就是人工智能工厂，就像电厂发电一样，我们开始生成人工智能了。如果人工智能的客户数量众多，就像用电的消费者数量众多一样，这些生成器，也就是数据中心，将会全天候运行，如今很多人工智能服务确实就像人工智能工厂一样在全天候运行，这种新型系统的上线确实和过去的数据中心不太一样。所以以上谈到的这两项根本性的趋势才刚刚开始，我们预计这种增长、这种现代化改造以及新产业(64.040, 0.42, 0.66%)的创建将会持续数年。

　　美银美林分析师Vivek Arya：科莱特，我想明确一下，公司有可能在2025年下半年恢复到75%左右的毛利率吗?另外一个问题问给黄仁勋，从历史经验来看，当出现硬件部署周期时，这个过程中不可避免地会包含一些市场消化的阶段，你认为我们什么时候会开始进入这个阶段?还是说因为Blackwell才刚刚起步，所以现在讨论这个问题还为时过早?需要经过多少个季度，发货量才能满足第一波的市场需求?你觉得这种增长能持续到2026年吗?我们应该如何应对长期硬件部署过程中出现的市场消化?

　　科莱特·克雷斯：没错，我们能在明年下半年达到75%左右的毛利率水平，这对我们来说是一个合理的假设或者说目标，但我们还得看看产能提升的具体情况进展如何。不过，确实是有这种可能性的。

　　黄仁勋：我认为在我们完成对价值万亿美元的数据中心进行现代化改造之前，都不会出现你所提到的消化阶段。全世界数据中心的建造，绝大多数发生于人们还在手动编写应用程序，并在CPU上运行的时期，而现在再这么做就已经不合时宜了。当今各家公司在数据中心方面的资本支出，应该为机器学习和生成式人工智能的未来而建。接下来的若干年里会发生的情况是，全球的数据中心完成现代化改造。如你所知，信息技术产业每年大约会有20%到30%左右的增长，到2030年，全球用于计算的数据中心价值有望达到数万亿美元。我们必须朝着这个方向发展，必须将数据中心从编码应用转向机器学习应用，这是第一点。

　　第二，生成式人工智能是一种世界前所未有的新型能力，一个全新的细分市场。比如OpenAI，它并没有取代任何东西，完全是全新的事物，在很多方面，就像iPhone问世时一样，它完全是全新的，并没有取代什么东西。我们会看到越来越多这样的公司，通过自己的服务创造并生成出智能，有些是像Runway那样的数字艺术智能，有些是像OpenAI那样的基础智能，有些是像Harvey那样的法律智能，还有像路透社那样的数字营销智能等等。

　　这些公司的数量，也就是所谓的原生人工智能公司，有数百个之多，而且几乎每一次平台变革时，都有互联网公司的兴起，有云优先的公司，有移动优先的公司，现在则是原生人工智能公司。这些公司之所以会不断涌现，是因为人们看到了平台变革带来了全新的机会，可以去做一些全新的事情。所以我的感觉是，我们首先要继续推进信息技术的现代化改造，实现计算领域的现代化;其次，要创建这些人工智能工厂，为生产人工智能的新产业服务。

　　(持续更新中。。。)