首页 >> 车头条 >

谷歌推出大模型睡眠框架 实现短期知识固化为长期记忆

2026-10-30 15:15:59 来源: 用户:谭轮裕 

谷歌最新发布的大模型睡眠学习框架,可以让 AI 像人脑一样分出清醒与睡眠周期,在清醒对话时临时存储新知识,等到进入离线睡眠阶段,自动把碎片化短期信息固化成长期参数记忆,从根源上解决大模型学新内容就遗忘旧知识的问题,不用反复全量微调模型,就能持续吸收新信息。当前绝大多数上线后的大模型都存在知识固化短板,模型正式部署后很难再平稳加入新内容,直接微调容易出现灾难性遗忘,单纯依靠上下文对话学到的内容,会话结束就会全部丢失,这也是大模型普遍存在知识截止日期的核心原因。谷歌团队参考人类睡眠巩固记忆的生物原理,把模型运行拆成两大周期,整套执行流程可以分成四步:第一步开启清醒活跃阶段,接收用户对话、文本资料,把所有新信息存入 KV 缓存短期记忆;第二步到预设时段暂停对外服务,正式进入离线睡眠模式,不再接收新请求;第三步先后完成记忆巩固与做梦自训练,把临时信息沉淀到模型权重当中;第四步结束睡眠,重新开启对外服务,此时模型已经牢牢记住刚刚学到的全部内容。这套完整运行机制可以稳定保障新旧知识互不冲突,大幅提升模型持续学习能力。

一、模型双运行周期整体架构

  1. 清醒活跃阶段(Active Phase) 模型正常对外提供问答、翻译、文本生成服务,所有交互产生的新知识,只保存在临时高速缓存里,不会直接修改模型基础权重,避免破坏原有知识库。
  2. 离线睡眠阶段(Sleep Phase) 暂停所有线上业务,分成记忆巩固、做梦优化两个子环节,完成短期记忆向长期参数的迁移,全程不需要人工标注数据。

二、睡眠阶段两大核心执行环节

(1)记忆巩固环节:把短期信息写入长期权重

核心技术为知识播种向上蒸馏,搭配混合专家记忆模块。

  • 先扩展模型参数容量,划分高频短期记忆模块与低频长期记忆模块;
  • 通过策略蒸馏,将缓存里碎片化的新知识,平稳迁移到低频稳定权重当中;
  • 依靠稀疏专家隔离机制,严格保护原有历史知识,防止出现新旧信息互相覆盖的情况。

(2)做梦自优化环节:无监督复盘提升推理能力

模拟人类快速眼动睡眠的自我复盘行为:

  • 模型自主生成大量合成训练样本,自动筛选高价值学习素材;
  • 借助强化学习反复练习新知识,搭建知识之间的逻辑关联;
  • 在没有人工干预的前提下,持续优化模型推理、长文本理解能力。

三、这套睡眠框架实测效果清单

表格

测试项目实测表现
长文本上下文可稳定处理最长 1000 万 token 超长文本内容
持续学习抗遗忘连续学习多门新语种,原有性能几乎零下降
数学推理任务在 AIME 24/25 数学测试基准中取得更高准确率
新知识吸收无需全量微调,就能持续纳入新事实信息,突破知识截止限制

四、落地使用操作要点

  1. 睡眠时段优先选择服务器低负载夜间时段,不影响日间对外服务;
  2. 每次睡眠固化只迁移当期短期缓存内容,不会大范围改动基础模型权重;
  3. 可以自主设置睡眠频次,每日一次或者每几日一次,灵活适配业务更新节奏。

【相关 FAQ】

问题 1:谷歌大模型睡眠框架,能不能解决大模型学新内容就忘旧知识的问题?

回答 1:谷歌大模型睡眠框架专门针对灾难性遗忘设计,在睡眠阶段用知识蒸馏 + 稀疏专家模块隔离新旧内容,把短期知识平稳写入长期权重,在持续学习新知识时,原有模型能力几乎不会出现下滑。

问题 2:谷歌大模型进入睡眠阶段之后,具体会完成哪两项核心工作?

回答 2:谷歌大模型睡眠阶段包含两大工作,第一项是记忆巩固,把对话缓存里的短期信息固化为模型长期参数;第二项是做梦自优化,自主生成训练样本,依靠强化学习复盘新知识,进一步提升模型推理水平。

问题 3:开启睡眠学习机制之后,大模型还会存在知识截止日期吗?

回答 3:开启谷歌睡眠框架之后,大模型可以定期在睡眠时段吸收新信息并固化到权重里,不用等待全量重新训练,能够持续更新知识库,有效打破传统大模型上线后知识不再更新的截止限制。

【数据来源】

[2026-10-30] 谷歌让大模型学会睡觉,一觉醒来知识全记住 IT 之家

[2026-10-30] 谷歌推出睡眠框架解决大模型持续学习难题 凤凰网科技

[2026-10-28] Google researchers give AI a sleep cycle so it stops forgetting AI Insiders

[2026-10-27] Language Models Need Sleep 谷歌研究论文 arXiv

免责声明

本文整理的谷歌大模型睡眠框架技术原理、实验数据均来自公开科研论文与科技媒体资讯;该技术目前处于科研验证阶段,正式商用版本的功能与效果会持续迭代优化,一切以谷歌官方后续发布内容为准。

 
最新文章