

> 导语：Google DeepMind通过摒弃传统的视觉与音频编码器，在仅仅12B的轻量级参数下实现了多模态信号的统一处理，这不仅是底层网络计算逻辑的极度精简，更是加速端侧AI全面爆发的催化剂。

## 砍掉冗余组件 无编码器架构的底层融合逻辑
在过去两年中，主流的多模态大模型大多采用“拼接式”架构。无论是处理图片还是声音，都需要先经过一个庞大的独立编码器（如ViT或Whisper）进行特征提取，然后再将这些特征对齐并喂给核心的语言模型。这种架构不仅导致参数量极度臃肿，更在数据传输过程中产生了巨大的内存带宽损耗。

技术突破　Gemma 4 12B的激进之处在于，它直接挥刀砍掉了这些作为前置过滤器的编码器。DeepMind提出了一种全新的原生多模态分词（Tokenization）机制，让底层的Transformer网络能够像处理文本字母一样，直接咀嚼原始的像素矩阵与音频波形。这种“早期融合”策略，极大地缩短了信息在神经网络中的传递路径，使得模型在理解跨模态长上下文时，不再受到特征对齐瓶颈的掣肘，实现了真正意义上的模态平权。

![62.png](https://static.downly.cn/images/1e253f67acecc9dd71cdb7344ff17a63.png) <center>图源备注 图片由AI生成</center>

## 极限压榨显存 12B参数重塑端侧算力效率
对于端侧设备而言，显存带宽是比算力更稀缺的资源。传统挂载编码器的多模态模型，即使强行量化，在加载时也会瞬间挤爆手机或轻量级机器人的统一内存。Gemma 4通过架构上的大瘦身，将一个具备全模态理解能力的引擎，硬生生塞进了一个12B（约120亿）参数的极小躯壳中。

性能焦点　在去除了编码器带来的显存开销后，Gemma 4在标准消费级硬件上的推理速度实现了成倍的跃升。它能够以极高的Tokens每秒吞吐量，在本地直接处理高清视频流与连续语音指令。这意味着，开发者终于可以在不依赖昂贵云端API的情况下，在边缘设备上部署一个反应极其敏锐、且完全保护用户隐私的高级视觉与语音综合中枢。

## 开源生态的蝴蝶效应 边缘设备智能化的真正拐点
Gemma 4作为Google开源矩阵的重要一子，其无编码器架构的公布必将在整个开发者社区引发强烈的跟风效应。过去的端侧AI往往只能做做简单的文本续写，而现在，一个轻量级的树莓派或是一台普通的工业相机，都能借助Gemma 4直接看懂图纸、听懂指令。

生态推演　这对于智能物联网（IoT）、具身智能机器人以及下一代AR穿戴设备来说，是一个决定性的技术拐点。开发者不再需要费尽心思去拼接不同的感知模型，整个行业的硬件产品将以前所未有的速度跨入原生多模态交互时代。底层计算范式的革新，往往比单纯的参数规模堆砌更能爆发出颠覆性的应用浪潮。

Gemma4舍弃编码器的技术激进路线 12B参数如何重构端侧推理效率



> 月之暗面提出全新注意力残差架构，打破了沿用近十年的传统等权相加模式。该技术在不增加算力消耗的前提下大幅提升模型效能，标志着国产大模型在底层基础理论创新上迈出关键一步。

## 撼动祖传架构 破解深层网络无效运算痛点

同样的算力与数据 凭什么有的模型效果更胜一筹 月之暗面给出了一个直击深度学习底层逻辑的硬核答案。3月16日，Kimi正式发布重磅技术报告《Attention Residuals》。该项研究针对自2015年以来几乎从未被变动过的大模型基石 残差连接 进行了大刀阔斧的彻底重构。

传统的残差连接虽然在历史上成功解决了深层神经网络难以训练的梯度消失问题，但其等权相加的粗暴方式正日益暴露出局限性。随着网络层数不断加深，每一层贡献的新特征极易被庞大的累积历史信息所淹没，导致大量中间层实际上沦为不产生有效增益的无效干活节点。

![42.png](https://static.downly.cn/images/923472cd82042e10a83d0a6610b3eb01.png)

<center>图源备注：图片由AI生成</center>

## 深度维度的优雅旋转 引入查询向量机制

面对这一行业顽疾 Kimi研发团队展现了极高的数学直觉。团队敏锐地发现 深度网络在纵向维度上的信息稀释与传统RNN在时间维度上的遗忘现象 在数学结构上具有高度的一致性。基于此 团队进行了一次堪称优雅的旋转 将原本用于处理文字序列的注意力机制横向转动90度 创造性地应用到了纵向的网络深度维度上。

通过这种全新的注意力残差机制 每一层网络不再是被动地接受叠加信息 而是通过一个轻量级的查询向量 主动且有选择性地决定从前面哪些层提取多少历史信息。为了解决大规模训练中不可避免的内存开销激增问题 团队进一步提出了Block AttnRes分块方案 将庞大的网络划分为若干区块 在确保性能大幅跃升的同时 成功将推理延迟增量死死控制在2%以内。

![43.png](https://static.downly.cn/images/d2776a1c21887db95e717452ed086dd3.png)

<center>图源备注：图片由AI生成</center>

## 突破缩放定律瓶颈 开启深度学习新纪元

严格的实验数据印证了这一底层创新的巨大威力。在保持相同算力消耗的情况下 新方法训练出的模型效果 竟等同于基线模型花费1.25倍算力才能达成的水平。在极具挑战的GPQA-Diamond科学推理任务上 该架构实现了7.5%的惊人飞跃 在数学与代码生成任务上也分别斩获了3.6%和3.1%的显著增益。

![44.png](https://static.downly.cn/images/bf2e84c13e9e282c0fa493ce45f7c810.png)

<center>图源备注：图片由AI生成</center>

这一突破性进展迅速引爆了硅谷AI圈。知名科技巨头与众多业内技术泰斗纷纷在社交媒体上表达赞誉。OpenAI o1模型核心研发成员将其称作深度学习2.0的开端 而前OpenAI联合创始人也感慨行业对注意力机制的潜力挖掘仍大有可为。当前 整个AI行业正逐渐遭遇算力扩张的物理瓶颈 当绝大多数企业还在进行应用层的精装修时 月之暗面选择下沉到最深处 用一记重锤精准敲开了下一代深度学习架构的大门。

月之暗面重构大模型底层基石 算力效率跃升获硅谷极客力挺



> 开源大模型赛道再迎效率革命，最新发布的128专家混合架构模型首次将逻辑推理、原生多模态与智能体编码融合于单一底座。通过极致的参数激活优化，开源社区在性能与算力成本之间找到了极佳的平衡点。

## 三位一体 聚合旗舰核心能力

追求高效始终是开源阵营的核心竞争力。Mistral AI在最新开源的Small4模型中，通过底层架构的重构，打破了过去开发者必须在不同专业模型间反复横跳的困境。

该模型被定义为首款真正的多功能聚合体，全面继承了家族此前的三大标杆能力 包括被命名为Magistral的卓越逻辑与数学推理机制，支持原生图像输入解析的Pixtral多模态处理引擎，以及专为复杂软件工程打造的Devstral智能体编码能力。这种三合一的集成设计，大幅降低了企业级开发中的模型部署与调度复杂度。

![52.png](https://static.downly.cn/images/f583f214b19a9fd37f1b122b330fa143.png)

<center>图源备注：图片由AI生成</center>

## 架构优化 性能与算力的极致平衡

在狂飙突进的参数军备竞赛中，该模型提供了一个极具示范意义的效率样本。其采用了极为精密的128专家混合架构（MoE），虽然总参数量堆叠至1190亿，但通过精准的路由算法，每次处理单一词元（Token）时仅需激活4个专家模块。

这意味着系统的实际活动参数被严格控制在约60亿的超低水平，在维持千亿级模型知识广度的同时，将推理阶段的算力开销压缩到了极致。此外，长达256k的上下文窗口配置，使其在处理超长法律文档比对或复杂代码库分析时依然游刃有余。

## 动态推理 赋予开发者算力调度自由

值得一提的是，研发团队首次引入了可配置推理强度功能，将算力的分配权彻底下放给开发者。在追求极速反馈的延迟优化模式下，端到端的任务完成时间可大幅缩减40%，完美契合实时客服与语音交互场景。

而在应对离线数据批处理或高并发请求时，切换至吞吐量优化模式后，系统的每秒请求处理量实现了高达三倍的飞跃。随着该全能底座以Apache 2.0协议完全开源并加入新的产业联盟，全球AI开发者将获得一个在部署成本与泛化能力上极具统治力的开源新基建。

Mistral发布三位一体旗舰开源模型 携手联盟重塑算力效率



> **导语**
> 上海人工智能实验室开源全球最大科学多模态模型，基于MoE架构实现万亿参数与极致算力效率平衡，在AI4S领域确立国际领先地位，并全面开放SAGE架构技术链路。

## 科学计算领域的参数里程碑

全球开源 AI 社区近日迎来了一次重量级的技术刷新。上海人工智能实验室正式发布并开源了 **Intern-S1-Pro**，这是一款参数量达到万亿级别（1T）的科学多模态大模型。

该模型的发布不仅打破了开源社区的参数规模纪录，更标志着国产 AI 在 **AI for Science (AI4S)** 这一前沿赛道上取得了战略性突破。在综合学科评测中，Intern-S1-Pro 展现出了令人惊叹的专业能力，其复杂数理逻辑推理水平已达到奥林匹克竞赛金牌标准。在真实的科研场景下，它能够作为高水平的智能体辅助科学家进行实验设计与数据分析，其实力已稳居全球开源模型的第一梯队。

![Google_AI_Studio_2026-02-05T02_39_23.699Z.png](https://static.downly.cn/images/a85a54b0f905d1efb66a6bc31955bce4.png) <center>图源备注：图片由AI生成</center>

## 混合专家架构与物理直觉

在庞大的参数规模之下，Intern-S1-Pro 的技术内核同样精妙。研发团队采用了先进的 **混合专家架构（MoE）**，虽然总参数量高达1万亿，但通过高效的动态路由机制，模型在处理每一次具体任务时，仅需激活 **220亿（22B）** 参数。这种设计极大地降低了推理成本，实现了超大规模模型在算力效率上的最优解。

为了让 AI 真正理解科学规律，团队还引入了创新的“通专融合”技术架构 SAGE。通过引入傅里叶位置编码并重构时序编码器，模型仿佛拥有了“物理直觉”，能够统一理解从微观粒子信号到宏观物理现象的复杂规律。这一技术突破攻克了超大 MoE 模型训练中常见的稳定性难题，证明了国产团队在底层算法架构上的原创能力。

## 全链路自主可控的生态底座

Intern-S1-Pro 的意义远超模型本身，它是一次从原创架构到国产算力基座的完整技术验证。目前，该模型已在 GitHub 和 HuggingFace 等主流平台全面开源，并提供在线体验服务。

这一举措为全球科研机构和开发者提供了一个开放、共享的高性能基础设施。通过降低顶级科学模型的获取门槛，上海人工智能实验室正在加速构建一个基于国产技术的科研 AI 生态，为未来的科学发现提供源源不断的智能动力。

![Google_AI_Studio_2026-02-05T02_39_28.314Z.png](https://static.downly.cn/images/f3ead6a4fb51a05a89f7d6f330992612.png) <center>图源备注：图片由AI生成</center>

国产开源新高地：万亿参数Intern-S1-Pro发布，数理推理对标奥赛金牌



> 顶级开源推理引擎 vLLM 的创始团队正式走向商业化，成立新公司 Inferact 并斩获 1.5 亿美元融资。在红杉、A16Z 等顶级风投的加持下，他们意图重构 AI 基础设施，解决大模型商业化面临的算力成本与效率瓶颈。

## 资本狂热背后的技术野心

当全球目光聚焦于万亿参数大模型时，一场关于底层算力效率的变革已悄然启动。Inferact 在种子轮即获得 1.5 亿美元融资，估值飙升至 8 亿美元。这份豪华的投资人名单涵盖了 Andreessen Horowitz、光速创投、红杉资本等硅谷顶级机构，足以证明市场对“推理侧”技术突破的极度渴求。

Inferact 的核心班底源自开源界备受推崇的 vLLM 项目。该引擎凭借支撑 500 多种模型架构、适配 200 多种硬件加速器的强悍兼容性，早已成为 AI 推理领域的基石。

![Google_AI_Studio_2026-01-24T04_42_07.946Z.png](https://static.downly.cn/images/94bf97ead902f7f9521c627c3b5457be.png) <center>图源备注：图片由AI生成</center>

## 从模型训练到极致推理的战场转移

如果说模型训练是军备竞赛的上半场，那么推理（Inference）就是决定商业生死的下半场。随着 AI 应用的普及，推理阶段的算力消耗呈指数级增长，昂贵的成本成为了制约大规模应用落地的最大阻碍。

Inferact 的战略目标非常明确 将 vLLM 推向世界领先地位，通过极致的优化打破成本枷锁。这标志着 AI 基础设施的竞争重心，已从单纯的算力堆叠转向了对效能的极致追求。开源技术与商业资本的深度结合，将为 AI 智慧流淌到每一个计算节点提供强劲的动力。

vLLM 原班人马创立 Inferact 获 1.5 亿美元融资重注推理赛道



> Google DeepMind 今日攻克计算机视觉领域的终极难题，推出全新 D4RT 模型。该技术成功将三维空间与时间维度融合，实现对动态世界的像素级精准追踪与重建，让机器视觉从“拼图”进化为“整体感知”。

## 从拼图模式到四维整体建模

长期以来，机器视觉受困于如何理解动态世界。DeepMind 发布的 D4RT（Dynamic4D Reconstruction and Tracking）打破了这一僵局，它不再依赖多个独立模型分别处理深度、动作和视角的传统“打补丁”方式，而是通过统一架构实现了维度的跨越。

D4RT 采用优雅的“查询式”架构，将复杂的视觉任务简化为一个核心逻辑 询问视频中的任意像素在特定时间、特定视角下的三维坐标。这种从底层逻辑上的重构，让 AI 不再是处理一个个切片，而是建立起了一个包含时间维度的完整四维世界模型。

![Google_AI_Studio_2026-01-24T04_40_36.929Z.png](https://static.downly.cn/images/2f0e82971cad36bed6fd78a562c63c82.png) 
<center>图源备注：图片由AI生成</center>

## 算力效率的指数级跃升

“指哪打哪”的查询机制带来了惊人的效率提升。在性能基准测试中，D4RT 的运行速度相比现有技术标杆提升了 18 至 300 倍。

以往顶级算力需要十分钟才能解析的一分钟视频，现在仅需 5 秒即可完成处理。这意味着 AI 首次具备了在现实场景中实时构建四维地图的能力，为自动驾驶、机器人导航等对时延极其敏感的领域扫清了关键障碍。

## 超越视觉的全时空感知

D4RT 的突破不仅在于快，更在于深。它展现出了令人惊叹的“脑补”能力

*   **全时空追踪** 即便物体被遮挡或移出画面，模型依然能预测其在三维时空中的轨迹。
*   **瞬时重建** 无需反复迭代，直接生成场景的精准 3D 结构。
*   **自适应捕捉** 自动对齐不同视角，精准还原相机的运动路径。

这标志着 AI 正从单纯的“看客”进化为能够理解物理常识的观察者，为通往通用人工智能（AGI）铺平了视觉感知的基石。

![Google_AI_Studio_2026-01-24T04_40_44.928Z.png](https://static.downly.cn/images/e3e07f08d3ad06670fce8f9160c5dfe7.png)
 <center>图源备注：图片由AI生成</center>

搜索结果: 算力效率