陕西交通建设集团网站体检彩虹云主机官网

陕西交通建设集团网站体检,彩虹云主机官网,网站页面如何设计,公司法治企业建设允中 发自 凹非寺量子位 | 公众号 QbitAI2026年将至#xff0c;ChatGPT发布三周年#xff0c;但关于“AI瓶颈期”的焦虑正达到顶峰。当全行业都在讨论如何通过量化、蒸馏来“省钱”时#xff0c;新加坡国立大学校长青年教授、潞晨科技创始人尤洋却提出了一个更为本质的拷问ChatGPT发布三周年但关于“AI瓶颈期”的焦虑正达到顶峰。当全行业都在讨论如何通过量化、蒸馏来“省钱”时新加坡国立大学校长青年教授、潞晨科技创始人尤洋却提出了一个更为本质的拷问如果给你300亿美元预算今天我们真的能训出比GPT-4强出几个维度的模型吗在《智能增长的瓶颈》一文中尤洋教授一针见血地指出当前智能增长的瓶颈本质上是我们现有的技术范式已经快要“消化”不动持续增长的算力了。他提出了几个颠覆常规认知的硬核观点智能的本质是能源转化过去10年AI的本质是将电力通过计算转化为可复用的智能而转化效率正面临大考。Transformer的秘密它之所以胜出并非因为更像人脑而是因为它是一台“伪装成神经网络的并行计算机”完美契合了英伟达GPU的堆料逻辑。效率不等于智能Mamba等新架构提升了吞吐量但在“算力转智能”的终极上限上它们真的比Transformer更强吗未来的出路抛弃Adam优化器回归高精度计算FP32/64从电影制作到地震时间预测我们离真正的AGI还有多远……这篇深度长文或许能带你穿透“降本增效”的迷雾直达算力与智能最底层的逻辑。一起来看。智能的核心不是解释而是预测什么是智能尤洋没有照搬任何形式化或哲学化的“智能定义”。相反他采用了一种非常工程化、面向能力评估的处理方式通过一组可验证、可实践的判断标准来刻画智能的边界在关键人生决策上是否愿意完全听从AI在高风险、高不确定性领域是否敢让AI替代专家在创作层面是否已经无法分辨作品是否由AI生成这些例子背后指向的是同一个核心能力即对未来状态进行预测并为预测结果承担实际后果的能力。这一锋利的判断不仅解释了为什么Next-Token Prediction能在过去几年成为事实上的“智能发动机”也解释了为何许多“在封闭评测中表现出色”的系统一旦进入真实世界就迅速暴露短板——它们往往擅长组织与解释已有信息却难以在不确定环境中对未来做出稳定、可执行的判断。当然需要强调的是将智能高度凝聚为“预测”更像是在给智能划定一个工程上可对齐算力投入的核心能力维度而非穷尽智能的全部内涵。这是一个足够清晰也足够有解释力的硬核视角。而规划、因果建模以及长期一致性等能力是否能够完全被还原为预测问题仍然是一个开放议题。但当我们把智能简化为预测能力时下一步的问题自然落到算力是如何转化为这种能力的预训练、SFT、RL之争本质上是“算力分配”问题过去几年行业对训练范式的讨论常常被“方法论优越感”主导但如果把目标限定为单位算力能换来多少智能那么范式本身就不再神秘而变成了一种算力使用策略。不同于主流叙事尤洋在文章中直接把预训练、微调、强化学习三者拉到统一层面即三者本质上都是在计算梯度更新参数。文章指出当前模型的主要智能来源依然是预训练阶段——不是因为它更“聪明”而是因为它消耗了最多的能源与计算。从智能增长角度看这三者参数更新发生的频率与更新所消耗的算力规模确有不同但是通过视角的转换智能增长的讨论就从方法论之争转向了一个更朴素也更残酷的问题——在算力持续投入的前提下我们是否还能稳定地换取能力增长Transformer的胜出不只是算法胜利为了回答这个问题这篇文章回溯了过去十年大模型快速进化的原因。尤洋指出这一轮智能跃迁的成立依赖于三件事情同时发生一是GPU体系在硬件层面持续提供指数级增长的并行算力二是Transformer架构在计算结构上天然支持大规模并行能够充分“吃下”这些算力三是Next-Token Prediction这一训练目标为模型提供了近乎无限、且高度统一的学习信号。因此Transformer的成功并不仅仅是算法层面的胜利更源于模型架构与硬件体系高度匹配的系统性结果。在这三者共同作用下算力增长、模型规模扩大与能力提升之间形成了一条相对稳定的正反馈链路。需要注意的是这一范式的有效性也在一定程度上受益于语言任务本身的结构特性语言高度符号化、序列化且评测体系与训练目标高度一致。这使得算力增长、模型规模扩大与能力提升之间在这一阶段形成了一条相对稳定的正反馈链路。也正是在这一历史条件下从GPT-1、GPT-2到GPT-3再到ChatGPT智能水平得以沿着同一范式持续抬升。这也自然引出了后文的核心问题当算力继续增长时我们是否还拥有同样可扩展的范式真正的瓶颈并不是算力停了而是算力“吃不动”了尤洋在文中提出了一个非常具体、也非常可操作的标准来判断智能的瓶颈当一次训练的FLOPS从10^n变成10^{n3}时我们是否还能稳定地获得显著更强的模型如果答案开始变得不确定那么问题就不在于“算力是否继续增长”而在于现有范式对新增算力的吸收效率是否下降计算规模的扩大是否被通信、同步和系统开销所抵消。这也是文章里反复强调FLOPS的原因Token数、参数量、推理速度往往会混合效率与商业因素而FLOPS才是最底层、也最难被包装或美化的算力尺度。在这个意义上所谓“瓶颈”并不是红利消失而是算力增长与智能增长之间的映射关系开始松动。更值得一提的是尤洋在文章中刻意把讨论从“效率优化”里拎出来换了一个更接近一线大厂决策的场景假设今天Google拍给你一张“300亿美元预算”的支票给你半年DDL——在这种极限训练目标下你还会优先选择Mamba这类“吞吐量更高”的架构吗未必。因为吞吐量解决的是“同等智能更便宜”不自动等价于“同等成本更聪明”。真正的难点变成我们到底有没有一种扩展性更强的架构或Loss函数能把新增算力更稳定地“吃进去”并把它转换成可兑现的能力增量那么如何能在单位时间内吃下更多算力并真正将它转化为智能呢未来未定问题的答案可能在多个探索区间内在正式回答算力转化智能的问题之前尤洋还对硬件与基础设施层面进行了深入的探讨。他根据自身多年的从业经验得出计算开销/通信开销的比值必须维持或提升这样才能在继续堆叠GPU的情况下线性地换来更多智能。因此未来AI基础设施的核心目标应该关注并行计算体系在软硬件层面的整体扩展性而不仅仅是单点芯片性能。在这一基础上尤洋最后提出了多个探索方向比如更高精度、高阶优化器更可扩展的架构或者Loss函数更多epoch与更深度的超参数探索。这些探索方向都在试图回答同一个命题——如何让模型在“吃掉”万亿级投入的同时吐出等比例增强的智能对于智能的进一步增长而言真正重要的是在极端算力条件下持续变强的能力——这也意味着预训练所能承载的智能增长空间可能还远未走到尽头。回到最初讨论的问题算力到底还能不能继续转化为智能尤洋并未给出断言但逻辑已经清晰只要我们还能找到更高效组织计算的方式智能的上限就远未到来。原文传送门或点击“阅读原文”https://zhuanlan.zhihu.com/p/1989100535295538013