找回密码
 立即注册
搜索
1框架

0

0

收藏

分享

【长期主义】第338期智能说:扎克伯格对谈纳德拉,AI摩尔定律

六合商业研选 · 5 小时前
1.jpeg


2025年4月29日,Meta首届AI开发者大会LlamaCon,扎克伯格与微软CEO萨提亚·纳德拉对谈,揭示 AI 领域正经历惊人变革。他们指出,AI正经历每6~12个月,性能或效率可能提升10倍的疯狂加速版摩尔定律,正推动应用从单一模型转向多模型协同与智能体时代;AI真正影响,将体现在GDP显著增长上,模型蒸馏技术是将大型模型智能普惠到各种设备与应用关键。


本期长期主义,选择扎克伯格与纳德拉对话纪要,瓜哥AI新知发布,六合商业研选精校,分享给大家,Enjoy!


正文:
全文7,469字
预计阅读15分钟


扎克伯格对谈纳德拉:AI正在经历疯狂加速版的摩尔定律
时间:2025年5月2日
来源:瓜哥AI新知
字数:7,469


扎克伯格与Microsoft萨提亚·纳德拉在LlamaCon AI大会上的对谈,公开发表于2025年4月30日。


内容提要


AI发展速度空前加快:AI性能提升与成本下降速度远超预期,类似疯狂加速版摩尔定律,每6~12月,可能带来10倍性能提升或效率改进。


多模型协同应用时代到来:AI应用,正从单一模型走向多模型协同,通过各种协议,如MCP、A2A,协调不同模型完成复杂任务,开源在此中扮演重要角色。


开源与闭源并存:微软对开源与闭源持开放态度,认为两者都满足不同客户需求,强调互操作性的重要性。开源模型,在知识产权蒸馏方面,具有优势。


Azure的AI生态战略:Azure致力提供一流的基础设施,即服务IaaS,构建应用服务器层,如Foundry,提供开发者工具,如GitHub Copilot,加速AI应用开发。


AI显著提升生产力:AI已在软件开发代码补全、聊天、任务分配、代码评审、销售等领域提升生产力,未来将进一步改变工作流程与产出方式。微软内部,AI生成的代码比例,已达20%~30%。


AI对代码编写的影响:AI代码补全接受率已达30%~40%,AI代码生成,在全新项目中应用广泛,未来目标是让AI完成一半的Llama 相关开发工作。


AI改变工作方式:AI将打破文档、应用与网站之间界限,实现更灵活工作方式,例如实时获取整合信息的报告,无需人工准备。


衡量AI对生产力影响:评估AI提升生产力的关键指标,是GDP显著增长,这需要数年时间才能体现。需要关注的是,AI对各行业生产力的实质性提升,对工作流程与管理模式的变革。


模型蒸馏的重要性:模型蒸馏Distillation Factory,是AI领域关键技术,能将大型模型的智能,压缩到更小、更易于部署的模型中,开源模型在此方面具有优势。微软致力构建能支持模型蒸馏的基础设施与工具,降低开发者使用门槛。


对未来AI展望:未来几年,开发者将创造更灵活、更易于适应变化的AI应用,模型将具有更强大的多模态能力,能根据不同需求调整延迟与思考时间,AI将成为应对各种挑战的关键资源。


访谈全文


扎克伯格:随着效率提升改变工作方式,人们最终会消费更多服务。


我很好奇,微软在企业业务领域非常出色,我们在这方面了解相对较少。


你们是如何看待围绕AI模型发展的这一切?你们看到模型一代代涌现,效率越来越高,智能性也远超前代。


这一切发展得非常快,我很想听听你们看法。


萨提亚·纳德拉:回想几年前,我们还在讨论摩尔定律怎么了,是不是终结了,我们该怎么办?


现在,我们正经历某种疯狂加速版的摩尔定律。


情况向来如此,任何技术平台的转变,都不是单一的S曲线,而是多条S曲线的叠加。


即使仅看芯片性能提升,像黄仁勋Jensen或苏姿丰Lisa这样的人物,也在进行巨大的创新,他们迭代周期越来越快,这本身就可以看作是摩尔定律延续。


除此之外,在集群层面,从系统软件优化、模型架构优化、推理内核优化、应用服务器优化,到甚至提示词缓存优化,我们都在不断进步。


所有这些因素叠加,可能每6~12个月,就会带来10倍性能提升或效率改进。


当能力以如此速度提升,成本以如此速度下降时,消费量自然会随之增长。


我非常乐观,我们正处在能够构建更深度应用的时代,这些应用,将包含智能体Agent、多模型协调层,我觉得我们正迈入这个阶段。


回想第一代AI应用,它们往往与单一模型紧密耦合。


我们终于迈向多模型应用的时代,可以协调确定性的工作流,一个基于某模型的智能体,可以与另一个智能体对话。


我们甚至已经有了一些非常有用的协议,无论是MCP,还是A2A等,这些都是积极的进展。


如果我们能在这些方面实现一些标准化,就能构建出既能利用这些强大能力、又兼具灵活性的应用。我认为,这正是开源可以发挥巨大作用的领域。


扎克伯格:我想深入探讨,如何结合使用多个模型。这里涉及到蒸馏工厂Distillation Factory概念,我相信微软有能力提供这类服务,它整合多个模型,也许我们稍后可以再谈这个。


在此之前,我想谈开源。


微软在开源方面,经历一段有趣的历程,拥抱开源,是你早期领导下的重要举措之一。


你们与OpenAI有紧密合作关系,也明确表示,除了闭源模型,微软也会全力支持开源模型。


我很好奇你对此的看法,你认为开源生态系统将如何演变?这对你们客户为何如此重要?在构建基础设施时,你们是如何考量这一点?


萨提亚·纳德拉:你这个问题很有意思。


早年在微软,我一项重要工作,是确保NT与各种Unix版本之间的互操作性。


那段经历,教会我,客户需要互操作性。


如果能做好这一点,不仅对业务有利,也能满足客户需求,这塑造我的思维方式。


我对闭源或开源,不持任何教条立场,两者都是世界需要的,我认为客户会同时需要它们。


即使我们任何一方固守某种立场也无关紧要,世界终将如此发展,这种需求是客观存在的。


就像既有SQL Server,也有MySQL或Postgres;既有Linux,也有Windows。Windows上,现在也有Linux。


我个人很喜欢用Windows上WSL,它极大简化在Windows上使用与部署各种开发工具的过程。


总之,采取一种允许混合搭配、兼容并包的姿态,非常有益。


这契合蒸馏话题,我许多企业客户希望能够蒸馏模型,将其转化为他们自己知识产权IP。


这种场景下,开源模型相比闭源模型,具有显著结构性优势。


我认为,当世界同时存在顶尖的闭源前沿模型与顶尖的开源前沿模型时,整个生态会更加繁荣。


对我们这样超大规模云服务提供商,这是好事,我们核心职责是提供服务。


访问Azure,你可以得到优质的Postgres服务,也可以获得优秀的SQL Server服务,或者选择Linux、Windows虚拟机。


同样,AI模型上,我们希望提供丰富的选择,围绕这些选择,构建卓越的工具。


扎克伯格:具体到Azure,在支持开源、整个AI生态中角色与定位是什么?不一定是排他性的,对初创开发者,你们在哪些方面,力求差异化?


萨提亚·纳德拉:首先,一个AI工作负载,远不止推理时的AI加速器与模型。


任何AI应用,都建立在存储、除AI加速器外的其他计算资源、强大的网络基础之上,核心基础设施至关重要。


在Azure,我们目标,是将计算、存储、网络、AI加速器整合,打造成世界一流的基础设施,即服务IaaS,服务想要构建下一代智能体的开发者。


在此基础上,我们正利用Foundry构建应用服务器层。


每次平台转型,都会出现相应的应用服务器。


如何将搜索、记忆、安全,乃至评估等通用服务打包,这些是每个开发者都需要的功能。


如果能将它们封装进框架,提供配套工具,我认为至关重要。


另一方面,我们高度关注开发者工具GitHub Copilot,并对其进展感到兴奋。


总之,卓越的工具、强大的应用服务器、顶尖的基础设施相结合,是加速AI应用开发的关键。


扎克伯格:你提到智能体与生产力提升,这是当前整个生态与社区关注的焦点。


我很想了解,在微软内部,你们观察到的实际进展怎样?


萨提亚·纳德拉:对我们,感受最深是软件开发领域的变化。


回顾GitHub Copilot演进,最初是代码补全;接着加入聊天功能,这意味着开发者无需离开工作流去查Reddit或Stack Overflow;然后是智能体工作流,可以轻松分配任务。


这三者,代码补全、聊天、任务分配,我们内部一直在并用,并非相互取代。


现在,我们还有了原型级的软件工程师SWE智能体,你可以给它一个高级指令,甚至直接将一个Pull Request分配给它。


这四个方面,都在提升生产力。


我们学到最重要的一点是,必须将这一切,深度整合到现有代码仓库与开发者工作流中。


从零开始,构建新应用是一回事,现实中我们往往是在庞大复杂的代码库与流程中工作。


整合工具链,是每个工程团队必须完成的系统性工作,只有这样,才能看到显著的生产力提升。


这同样适用其他知识工作领域。


以Copilot在知识工作中的应用为例,比如销售场景。


我常说,我为企业客户会议做准备的方式,从1992年加入微软以来几乎没变过,通常是有人写好简报,通过邮件或文档发给我,我在会前阅读。


现在,我只需打开Researcher与Copilot,就能实时获取整合网络信息、内部资料,乃至CRM数据的报告。


这是根本性的变化,不再需要有人专门准备材料,信息随时可用。


这要求我们改变工作产出与工作流程,这是重大转变。


起初可能进展缓慢,随后会突然加速,带来转型。


我在个人电脑普及过程中,见证过类似情况。


想想电子邮件与Excel出现之前,人们是如何做预测的,那时靠的是传真与内部备忘录。


我想你没经历过那个时代,那时我还在上初中。


后来,有人开始在邮件里发送电子表格让大家填数字,彻底改变预测的方式。


我相信,我们现在正处在AI引发类似变革的极早期阶段。


你已经能在客户服务、市场营销内容创作等领域,看到这种转变的苗头。


这是当前的状况,我们正在目睹实实在在的进展与产品落地。


扎克伯格:很有意思。


具体到编码效率提升,你们内部是否有数据追踪,目前有多少比例的代码是由AI生成,而非工程师编写的?


萨提亚·纳德拉:我们主要追踪两类数据。


一是代码补全的接受率,目前大约在30%~40%之间,持续上升。


具体情况有所不同,我们长期面临的挑战是,内部仍有大量C++与C#代码。


C#的支持效果不错,C++的支持过去相对较弱,现在已经改进很多。


Python的支持,一直很出色。


随着对更多语言支持的完善,代码补全效果也在提升。


智能体生成代码,目前更多出现在全新的绿地项目中,在这些项目中采用率很高。


需要指出的是,现实中纯粹的绿地项目并不多。


利用AI进行代码评审Code Review的使用率增长非常快,我们用于代码评审的智能体被频繁使用。


综合来看,我估计目前在微软代码仓库中,部分项目里由AI生成的代码可能占到20%~30%。


你们那边情况如何?


扎克伯格:我手头没有确切的数字。


我认为目前大家常引用的统计数据,大多停留在代码自动补全层面。


我们有些团队正在特定领域进行实验,比如动态消息Feed排序与广告排序,在这些领域,AI可以分析历史变更,并提出优化,这块我们觉得很有潜力。


我们当前的核心焦点,是构建能够推动Llama模型自身发展的AI与机器学习工程师。


我们目标是,未来1年内,实现约一半Llama相关开发工作由AI完成。


我们预期这个比例,会随时间推移而增长。


我只是好奇,你们是否也看到类似趋势,或设定类似目标。


萨提亚·纳德拉:在我看来,SWE智能体是我们在这方面的初步探索。


我们面临问题是,未来1年,我们能否实现像内核优化这样的任务,我认为实现这类目标的可能性较大。


但要提出全新的模型架构变革,恐怕不太现实,关键在于选择哪个具体的测试基准。


扎克伯格:在优化、安全改进等方面,我认为潜力巨大,我们也在探索不同方向。


你们服务海量开发者与工程师,这是你们核心业务。


我们更多将AI,视为改进内部开发流程、与优化Llama 模型供他人使用的途径。


我们不像你们构建端到端的工作流。


了解你们的思路,总能带来启发。


萨提亚·纳德拉:另外一点,我们核心业务,比尔·盖茨最初将微软定位为一家工具公司。我现在觉得一个有趣的问题是,我们是否应该重新定义工具与基础设施?


坦率说,是为智能体打造的工具与基础设施。


即便是SWE智能体,也离不开大量工具支持。


这些工具应该是什么形态,它们需要怎样的基础设施与沙盒环境,我们大量工作是在演进GitHub仓库结构等基础设施,使其更好适应SWE智能体的需求。


扎克伯格:这是非常有意思的概念。


我认为,未来每位工程师都将更像一名技术主管,带领一个由工程智能体组成的小团队协同工作。


基于这些,我想从几个方面来谈。


我很想了解,你个人使用AI的工作流,发生哪些变化?


鉴于你提到微软起源及传承,我很好奇,如果你今天作为一名开发者,从零开始,你会如何选择与使用工具?


萨提亚·纳德拉:我认为比尔·盖茨在我们心中种下一个宏大梦想、追求,或者疑问是,文档、应用与网站之间,究竟有何区别?


如今,当使用MetaAI、ChatGPT、Copilot或任何类似工具时,我常常不确定,一次聊天对话与我访问一个网页,比如微软Pages之间,界限在哪里?


例如,我刚就在阅读关于Llama 4与各种模型信息。我进行大量聊天,将这些内容添加到Pages文档中进行持久化保存。既然有了代码补全,就可以将这些内容转化为一个应用或其他形式的产物。


从一个高层次的意图出发,最终生成一个过去被称为应用、持续演进的活产物,我认为这种可能性,将深刻改变我们工作方式。


我们正处在这个变革的开端,这正是我的梦想所在。


作为工具与基础设施的构建者与使用者,我认为人为设定、主要源于软件限制的类别界限,或许终将被打破。


我们过去常思考另一个问题,Word、Excel、PowerPoint为何要各自独立,为何不能融为一体?


我们曾多次尝试整合,现在,这种融合变得触手可及。你可以从Word文档开始,将其中内容可视化为Excel图表,再转换成PowerPoint演示,所有这些都能以某种统一的数据结构或其他形式持久保存。在我看来,过去难以实现的软件可塑性,如今已成为现实。


扎克伯格:很有意思,言之有理。


在我们多年交流中,我一直很佩服你对技术趋势发展所持有的理性视角。AI领域充斥大量炒作,我感觉你总能洞悉本质,并在每个阶段都做出非常理性的投入。


你曾提出的一个观点是,炒作很多,AI若要真正大幅提升生产力,最终必须体现在GDP的显著增长上,这需要很多年才能真正实现。


我很想知道,你当前认为我们应该关注哪些指标来衡量这一进展?你如何展望未来3~5年到7年内AI的发展路径?


萨提亚·纳德拉:我同意你的看法。


坦率说,这对我们,是相当紧迫的优先事项。


世界亟需一种新的生产要素,以应对我们面临的诸多挑战。


我们可以这样设想,发达国家要实现10%经济增长,这可能是工业革命等时期的峰值水平。


要达到这个目标,必须在所有职能领域实现生产力飞跃,无论是在医疗、零售,还是任何行业的知识工作。


我认为AI有望促成这一点,前提是它必须真正带来生产力的实质性变革。这不仅需要软件技术进步,还需要管理模式变革,人们必须学会以全新方式与AI协作。


人们常引用电力普及历程,电力出现50年后,人们才意识到,必须改造工厂布局,才能充分利用它,福特的案例是著名的例证。


在我看来,我们正处在类似的关键转折点,我希望我们不必等待50年。


我认为,仅将AI视为没有马的马车,即现有事物的简单替代,并非通往成功的坦途。这不仅是技术问题。技术需要进步,更要将其融入能切实创造新工作机会的系统之中。


扎克伯格:我们都在大力投入,我们都希望这个过程用不了50年。


我们刚才讨论了更多技术层面问题,之后才谈到宏观层面。


我意识到,我们还没深入聊你提到的蒸馏工厂Distillation Factory概念,即如何整合各种开源AI模型,你认为这需要什么样基础设施。


萨提亚·纳德拉:在我看来,这正是开源能发挥的最大价值之一。它允许我们选取像Llama系列中某些大模型,将其蒸馏成保留原有结构的小型模型,我相信这是非常重要的应用场景。


将蒸馏过程所需的工具构建成服务,能够有效降低使用门槛。部署大模型,需要庞大的基础设施,并非每个开发者都需要或能够独立管理。如果这些能力,以云服务形式提供,辅以必要工具,整个过程会容易得多。


以微软为例,设想一下,Microsoft 365每个租户都能拥有一个针对特定任务的蒸馏模型,用户可以将其封装成智能体或工作流,这个模型可以从Copilot内部被调用。


对我这是一个突破性的应用场景,许多人已在进行类似探索,我们目标是让这个过程变得极其简单。


我说的蒸馏工厂,指的是一个大型基础模型与众多蒸馏模型之间,可能存在一对多或多对多关系。


这些蒸馏模型,可以与GitHub Copilot或Copilot等产品中的工作流相结合,这些产品现在都支持通过MCP服务器等技术,来调用这些外部智能体。


扎克伯格:我对此非常着迷,我认为模型蒸馏,是开源最具威力的方面之一。


考虑到我们在生态中的角色,Meta在训练Llama初始模型时,并没有自己构建大部分面向开发者的基础设施。


像微软这样的公司,来构建这类复杂的基础设施至关重要。


我们正在研发的Behemoth模型是个例子,除了将其蒸馏成更易用的形态外,如何直接使用它,目前不完全明朗。


即便我们内部使用,也需要构建大量基础设施来进行后训练。直接在Behemoth上运行推理,几乎是不可能的。


正如你之前提到的Maverick模型,它是从多个模型蒸馏而来。Maverick性能优越,部分原因在于它的多模态能力,它在多模态任务上表现领先。


在文本性能上,它与顶尖的纯文本模型基本相当,模型体积更小。


例如,DeepSeek模型比它大,在文本能力上,两者大致相当。


Maverick具备图像与多模态能力,这是其他一些模型缺乏的。


我们能做到这一点,很大程度上受益于,我们已经完成Behemoth预训练,并正在进行后训练。即便只是初步成果,模型蒸馏简直如同魔法。


你可以从一个大20倍的模型中,提取出90%~95%的智能,并将其压缩到一个成本更低、效率更高的形态中。


关键在于,如何让不具备构建复杂基础设施能力,或高深技术专长的开发者,也能利用这种魔法?


目前,全球只有少数实验室有能力进行这种级别蒸馏,甚至仅是运行如此庞大的模型。


我认为,当你所设想的蒸馏工厂愿景得以实现,并向全球大多数开发者开放时,届时他们不仅能从单一模型蒸馏,更能随心所欲混合搭配,从不同模型中萃取各自精华,将是AI领域最激动人心的进展之一。


萨提亚·纳德拉:正是如此。


如果你能从多个源模型进行蒸馏,并能评估生成的模型是否适用特定任务,这正是我们可以通过构建工具与基础设施来大展拳脚的领域,目标是降低开发者获得这种灵活性的门槛。


好消息是,这在一定程度上已经开始,我们已经能看到一些初步实例。问题在于,如何规模化降低构建这些能力的门槛。


另一个关键,是迭代的速度。


目前挑战之一是,我用一个模型做了微调,并部署应用,很快新的数据或需求就出现,我需要能够快速适应这些变化。


快速迭代与适应能力,是我们必须掌握的另一项关键技能,在这个瞬息万变的世界里,你不能被过去成果所束缚。


扎克伯格:开发者需要各种不同形态的模型。


例如,Llama 4结构设计成每个专家170亿参数,是因为Meta内部计算的基本单元是H100 GPU,我们希望模型能在此硬件上高效运行。


看看其他一些已发布的开源模型,它们性能很好,规模庞大,推理部署较为困难,可能是针对不同类型的基础设施设计的。


我们Llama大模型,主要是为服务器端生产环境构建。


许多开源社区成员,需要更小的模型。为了满足这种需求,打造备受欢迎的Llama 38B模型,我们也在努力开发更小的版本。


我之前提到过,内部代号Little Lama,具体发布时叫什么,我们拭目以待。


将大模型的智能,蒸馏到任意所需的形态,使其能在笔记本电脑、手机或任何终端设备上运行,这对我来说,简直是AI发展中最关键、最激动人心的方向之一。


萨提亚·纳德拉:很高兴看到你们Meta也在朝这个方向努力。


如果我们能得到灵活的混合模型,无论是混合专家模型MoE、密集模型,还是结合思考reasoning能力的模型,可以根据需求,调整延迟或思考时间,我认为这正是我们共同追求的目标。


扎克伯格:纵观当前AI领域所有进展,未来几年,你对开发者将创造出什么,最感乐观或最兴奋?


萨提亚·纳德拉:未来几年?


我常常从鲍勃·迪伦歌词中汲取力量,要么忙于新生,要么忙于死去He not busy being born is busy dying,我们最好选择忙于新生。


尤其在此刻,令我乐观的是,面临重重限制,软件以新形态AI呈现,依然是我们应对挑战、解决难题最具可塑性的资源。


我可以说,这对在场的各位、我们所有人,都是一个行动的号召,拥抱机遇,投身其中,积极构建解决方案。


无论是企业内部亟待解决的IT积压,还是现实世界中悬而未决的难题,都需要全新的方法来应对。


我认为AI技术的最大价值正在于此,最终能否实现,关键在于开发者们能否无畏的迎接挑战、驾驭变革。




请务必阅读免责声明与风险提示
2.jpeg

内容来源于51吃瓜网友投稿

使用道具 举报

您需要登录后才可以回帖 立即登录