

> 月之暗面提出全新注意力残差架构，打破了沿用近十年的传统等权相加模式。该技术在不增加算力消耗的前提下大幅提升模型效能，标志着国产大模型在底层基础理论创新上迈出关键一步。

## 撼动祖传架构 破解深层网络无效运算痛点

同样的算力与数据 凭什么有的模型效果更胜一筹 月之暗面给出了一个直击深度学习底层逻辑的硬核答案。3月16日，Kimi正式发布重磅技术报告《Attention Residuals》。该项研究针对自2015年以来几乎从未被变动过的大模型基石 残差连接 进行了大刀阔斧的彻底重构。

传统的残差连接虽然在历史上成功解决了深层神经网络难以训练的梯度消失问题，但其等权相加的粗暴方式正日益暴露出局限性。随着网络层数不断加深，每一层贡献的新特征极易被庞大的累积历史信息所淹没，导致大量中间层实际上沦为不产生有效增益的无效干活节点。

![42.png](https://static.downly.cn/images/923472cd82042e10a83d0a6610b3eb01.png)

<center>图源备注：图片由AI生成</center>

## 深度维度的优雅旋转 引入查询向量机制

面对这一行业顽疾 Kimi研发团队展现了极高的数学直觉。团队敏锐地发现 深度网络在纵向维度上的信息稀释与传统RNN在时间维度上的遗忘现象 在数学结构上具有高度的一致性。基于此 团队进行了一次堪称优雅的旋转 将原本用于处理文字序列的注意力机制横向转动90度 创造性地应用到了纵向的网络深度维度上。

通过这种全新的注意力残差机制 每一层网络不再是被动地接受叠加信息 而是通过一个轻量级的查询向量 主动且有选择性地决定从前面哪些层提取多少历史信息。为了解决大规模训练中不可避免的内存开销激增问题 团队进一步提出了Block AttnRes分块方案 将庞大的网络划分为若干区块 在确保性能大幅跃升的同时 成功将推理延迟增量死死控制在2%以内。

![43.png](https://static.downly.cn/images/d2776a1c21887db95e717452ed086dd3.png)

<center>图源备注：图片由AI生成</center>

## 突破缩放定律瓶颈 开启深度学习新纪元

严格的实验数据印证了这一底层创新的巨大威力。在保持相同算力消耗的情况下 新方法训练出的模型效果 竟等同于基线模型花费1.25倍算力才能达成的水平。在极具挑战的GPQA-Diamond科学推理任务上 该架构实现了7.5%的惊人飞跃 在数学与代码生成任务上也分别斩获了3.6%和3.1%的显著增益。

![44.png](https://static.downly.cn/images/bf2e84c13e9e282c0fa493ce45f7c810.png)

<center>图源备注：图片由AI生成</center>

这一突破性进展迅速引爆了硅谷AI圈。知名科技巨头与众多业内技术泰斗纷纷在社交媒体上表达赞誉。OpenAI o1模型核心研发成员将其称作深度学习2.0的开端 而前OpenAI联合创始人也感慨行业对注意力机制的潜力挖掘仍大有可为。当前 整个AI行业正逐渐遭遇算力扩张的物理瓶颈 当绝大多数企业还在进行应用层的精装修时 月之暗面选择下沉到最深处 用一记重锤精准敲开了下一代深度学习架构的大门。

月之暗面重构大模型底层基石 算力效率跃升获硅谷极客力挺



> 开源大模型赛道再迎效率革命，最新发布的128专家混合架构模型首次将逻辑推理、原生多模态与智能体编码融合于单一底座。通过极致的参数激活优化，开源社区在性能与算力成本之间找到了极佳的平衡点。

## 三位一体 聚合旗舰核心能力

追求高效始终是开源阵营的核心竞争力。Mistral AI在最新开源的Small4模型中，通过底层架构的重构，打破了过去开发者必须在不同专业模型间反复横跳的困境。

该模型被定义为首款真正的多功能聚合体，全面继承了家族此前的三大标杆能力 包括被命名为Magistral的卓越逻辑与数学推理机制，支持原生图像输入解析的Pixtral多模态处理引擎，以及专为复杂软件工程打造的Devstral智能体编码能力。这种三合一的集成设计，大幅降低了企业级开发中的模型部署与调度复杂度。

![52.png](https://static.downly.cn/images/f583f214b19a9fd37f1b122b330fa143.png)

<center>图源备注：图片由AI生成</center>

## 架构优化 性能与算力的极致平衡

在狂飙突进的参数军备竞赛中，该模型提供了一个极具示范意义的效率样本。其采用了极为精密的128专家混合架构（MoE），虽然总参数量堆叠至1190亿，但通过精准的路由算法，每次处理单一词元（Token）时仅需激活4个专家模块。

这意味着系统的实际活动参数被严格控制在约60亿的超低水平，在维持千亿级模型知识广度的同时，将推理阶段的算力开销压缩到了极致。此外，长达256k的上下文窗口配置，使其在处理超长法律文档比对或复杂代码库分析时依然游刃有余。

## 动态推理 赋予开发者算力调度自由

值得一提的是，研发团队首次引入了可配置推理强度功能，将算力的分配权彻底下放给开发者。在追求极速反馈的延迟优化模式下，端到端的任务完成时间可大幅缩减40%，完美契合实时客服与语音交互场景。

而在应对离线数据批处理或高并发请求时，切换至吞吐量优化模式后，系统的每秒请求处理量实现了高达三倍的飞跃。随着该全能底座以Apache 2.0协议完全开源并加入新的产业联盟，全球AI开发者将获得一个在部署成本与泛化能力上极具统治力的开源新基建。

Mistral发布三位一体旗舰开源模型 携手联盟重塑算力效率



> **导语**
> 上海人工智能实验室开源全球最大科学多模态模型，基于MoE架构实现万亿参数与极致算力效率平衡，在AI4S领域确立国际领先地位，并全面开放SAGE架构技术链路。

## 科学计算领域的参数里程碑

全球开源 AI 社区近日迎来了一次重量级的技术刷新。上海人工智能实验室正式发布并开源了 **Intern-S1-Pro**，这是一款参数量达到万亿级别（1T）的科学多模态大模型。

该模型的发布不仅打破了开源社区的参数规模纪录，更标志着国产 AI 在 **AI for Science (AI4S)** 这一前沿赛道上取得了战略性突破。在综合学科评测中，Intern-S1-Pro 展现出了令人惊叹的专业能力，其复杂数理逻辑推理水平已达到奥林匹克竞赛金牌标准。在真实的科研场景下，它能够作为高水平的智能体辅助科学家进行实验设计与数据分析，其实力已稳居全球开源模型的第一梯队。

![Google_AI_Studio_2026-02-05T02_39_23.699Z.png](https://static.downly.cn/images/a85a54b0f905d1efb66a6bc31955bce4.png) <center>图源备注：图片由AI生成</center>

## 混合专家架构与物理直觉

在庞大的参数规模之下，Intern-S1-Pro 的技术内核同样精妙。研发团队采用了先进的 **混合专家架构（MoE）**，虽然总参数量高达1万亿，但通过高效的动态路由机制，模型在处理每一次具体任务时，仅需激活 **220亿（22B）** 参数。这种设计极大地降低了推理成本，实现了超大规模模型在算力效率上的最优解。

为了让 AI 真正理解科学规律，团队还引入了创新的“通专融合”技术架构 SAGE。通过引入傅里叶位置编码并重构时序编码器，模型仿佛拥有了“物理直觉”，能够统一理解从微观粒子信号到宏观物理现象的复杂规律。这一技术突破攻克了超大 MoE 模型训练中常见的稳定性难题，证明了国产团队在底层算法架构上的原创能力。

## 全链路自主可控的生态底座

Intern-S1-Pro 的意义远超模型本身，它是一次从原创架构到国产算力基座的完整技术验证。目前，该模型已在 GitHub 和 HuggingFace 等主流平台全面开源，并提供在线体验服务。

这一举措为全球科研机构和开发者提供了一个开放、共享的高性能基础设施。通过降低顶级科学模型的获取门槛，上海人工智能实验室正在加速构建一个基于国产技术的科研 AI 生态，为未来的科学发现提供源源不断的智能动力。

![Google_AI_Studio_2026-02-05T02_39_28.314Z.png](https://static.downly.cn/images/f3ead6a4fb51a05a89f7d6f330992612.png) <center>图源备注：图片由AI生成</center>

国产开源新高地：万亿参数Intern-S1-Pro发布，数理推理对标奥赛金牌



> 顶级开源推理引擎 vLLM 的创始团队正式走向商业化，成立新公司 Inferact 并斩获 1.5 亿美元融资。在红杉、A16Z 等顶级风投的加持下，他们意图重构 AI 基础设施，解决大模型商业化面临的算力成本与效率瓶颈。

## 资本狂热背后的技术野心

当全球目光聚焦于万亿参数大模型时，一场关于底层算力效率的变革已悄然启动。Inferact 在种子轮即获得 1.5 亿美元融资，估值飙升至 8 亿美元。这份豪华的投资人名单涵盖了 Andreessen Horowitz、光速创投、红杉资本等硅谷顶级机构，足以证明市场对“推理侧”技术突破的极度渴求。

Inferact 的核心班底源自开源界备受推崇的 vLLM 项目。该引擎凭借支撑 500 多种模型架构、适配 200 多种硬件加速器的强悍兼容性，早已成为 AI 推理领域的基石。

![Google_AI_Studio_2026-01-24T04_42_07.946Z.png](https://static.downly.cn/images/94bf97ead902f7f9521c627c3b5457be.png) <center>图源备注：图片由AI生成</center>

## 从模型训练到极致推理的战场转移

如果说模型训练是军备竞赛的上半场，那么推理（Inference）就是决定商业生死的下半场。随着 AI 应用的普及，推理阶段的算力消耗呈指数级增长，昂贵的成本成为了制约大规模应用落地的最大阻碍。

Inferact 的战略目标非常明确 将 vLLM 推向世界领先地位，通过极致的优化打破成本枷锁。这标志着 AI 基础设施的竞争重心，已从单纯的算力堆叠转向了对效能的极致追求。开源技术与商业资本的深度结合，将为 AI 智慧流淌到每一个计算节点提供强劲的动力。

vLLM 原班人马创立 Inferact 获 1.5 亿美元融资重注推理赛道



> Google DeepMind 今日攻克计算机视觉领域的终极难题，推出全新 D4RT 模型。该技术成功将三维空间与时间维度融合，实现对动态世界的像素级精准追踪与重建，让机器视觉从“拼图”进化为“整体感知”。

## 从拼图模式到四维整体建模

长期以来，机器视觉受困于如何理解动态世界。DeepMind 发布的 D4RT（Dynamic4D Reconstruction and Tracking）打破了这一僵局，它不再依赖多个独立模型分别处理深度、动作和视角的传统“打补丁”方式，而是通过统一架构实现了维度的跨越。

D4RT 采用优雅的“查询式”架构，将复杂的视觉任务简化为一个核心逻辑 询问视频中的任意像素在特定时间、特定视角下的三维坐标。这种从底层逻辑上的重构，让 AI 不再是处理一个个切片，而是建立起了一个包含时间维度的完整四维世界模型。

![Google_AI_Studio_2026-01-24T04_40_36.929Z.png](https://static.downly.cn/images/2f0e82971cad36bed6fd78a562c63c82.png) 
<center>图源备注：图片由AI生成</center>

## 算力效率的指数级跃升

“指哪打哪”的查询机制带来了惊人的效率提升。在性能基准测试中，D4RT 的运行速度相比现有技术标杆提升了 18 至 300 倍。

以往顶级算力需要十分钟才能解析的一分钟视频，现在仅需 5 秒即可完成处理。这意味着 AI 首次具备了在现实场景中实时构建四维地图的能力，为自动驾驶、机器人导航等对时延极其敏感的领域扫清了关键障碍。

## 超越视觉的全时空感知

D4RT 的突破不仅在于快，更在于深。它展现出了令人惊叹的“脑补”能力

*   **全时空追踪** 即便物体被遮挡或移出画面，模型依然能预测其在三维时空中的轨迹。
*   **瞬时重建** 无需反复迭代，直接生成场景的精准 3D 结构。
*   **自适应捕捉** 自动对齐不同视角，精准还原相机的运动路径。

这标志着 AI 正从单纯的“看客”进化为能够理解物理常识的观察者，为通往通用人工智能（AGI）铺平了视觉感知的基石。

![Google_AI_Studio_2026-01-24T04_40_44.928Z.png](https://static.downly.cn/images/e3e07f08d3ad06670fce8f9160c5dfe7.png)
 <center>图源备注：图片由AI生成</center>

搜索结果: 算力效率