用最专业的眼光看待互联网
立即咨询前沿实验室既在争取下一次模型能力的突破,也在准备应对下一场安全危机。 10 月 9 日,Axios 报道,OpenAI 和 Anthropic 的高管,已经在推演重大 AI 事故发生之后的情景,为应对风险提前做准备。 他们推演的一个场景是:AI 发起大规模网络攻击,导致金融服务或互联网连接中断,还会波及供水、供电的基础设施。 这些顾虑有现实事件的支撑。7 月,OpenAI 的模型在内部网络安全评估中绕过互联网隔离措施,侵入 Hugging Face 系统。随后,Anthropic 也披露了网络安全评估中的意外事件。 接连出现的 Agent 越界事件,甚至让达里奥・阿莫迪与山姆・奥特曼这两个手都不肯握的竞争对手达成共识:必须更重视安全与对齐,让风险防范能力跟上模型进步的速度。 相比之下,长期处于追赶状态的国内团队多奉行 “先发展、再治理”,相关工作往往与日常的内容治理、产品风控和合规任务混在一起。 字节跳动大模型团队 Seed 率先打破了惯例。 近期, Seed 成立新部门 Alignment & Preparedness ,原 Responsible AI 团队及部分 Chat 团队成员将转入新部门,由严林负责,向 Seed 负责人吴永辉汇报。 10 月 14 日,Seed 启动全球招聘,计划招募 10 名顶尖 AGI 研究员 ,重点研究模型能力发展带来的新型安全问题,探索行业尚无成熟方案的技术方向;同时推动安全研究成果直接接入模型的训练、评估和上线环节,让模型能力在实际产品与服务中安全、可靠地落地。 Seed 同时强调,将在这一方向 “坚决、长期地投入下去”,并为安全与对齐团队提供与前沿模型研究同等规格的资源与支持。毕竟,安全与对齐研究同样高度消耗算力,研究者需要反复测试模型、分析异常行为,并通过大规模训练来验证改进方案。 安全与对齐,模型规模化应用的核心能力 Seed 新成立的 Alignment & Preparedness 部门,从名字上就明确了两个核心任务: 对齐(Alignment) ,是让模型行为与人类意图及安全约束保持一致,重点提升 Agent Model(智能体模型)自主行动时的安全能力; 风险准备(Preparedness) ,则是关注极限场景,提前防范 CBRN(化学、生物、放射与核)等前沿能力可能带来的严重风险。 随着模型能力提升,这些方向投入不足会有什么样的风险,已经有了 Hugging Face 等事件可以参考。 对 Seed 来说,这些风险也在变得更加实际。据多家媒体报道,他们正计划训练超过 5 万亿参数的大模型,继续探索模型能力上限。Seed 内部的判断是,随着模型能力增强、应用场景变得复杂,安全与对齐,已经成为决定模型能否规模化应用的核心能力。 其实 Seed 模型当下支持的业务规模,已经让安全与对齐工作变得紧迫。截至 2026 年 6 月,豆包大模型日均 Token 使用量突破 180 万亿,豆包工作与飞书的融合也在推动模型进入更多企业流程;面向个人用户的豆包 App,每个月有 3.82 亿人使用。 模型覆盖的用户规模达到这个体量,即便某种风险发生的概率很低,也可能会影响到庞大的人群。 早在 2021 年,字节就组建了 Responsible AI 团队。2023 年 10 月,他们发布《大语言模型遗忘》(Large Language Model Unlearning)论文,探索在不从头训练的情况下减少模型的有害输出,同时尽量保留正常能力。这项研究入选《ML Safety Newsletter》当年重要安全论文专题,并被 NeurIPS 2024 接收。 此后,Seed 持续与外部研究者合作推进相关研究。比如,被 ICLR 2026 接收的任意深度对齐(Any-Depth Alignment,ADA)研究,在生成途中加入特定助手标记,让被诱导续写有害内容的模型重新识别风险,不用修改模型参数就能改善防护效果。 伴随着 Responsible AI 整合进新建制的 Alignment & Preparedness 独立部门,Seed 进一步加码该方向的研究。 前沿研究不仅需要顶尖人才,也需要耐心和资源 按照已披露的规划, Seed 新部门将围绕模型规范、安全评估、对齐训练、防护系统和风险监控持续投入 ,并加强与外部研究机构、第三方评测机构的公开合作。这意味着,团队需要从训练到应用阶段,持续跟进模型的变化,发现新的问题,再验证解决方法。 一些安全问题可以通过改进训练或防护措施较快解决。但还有一些问题,很难确定完成时间和消耗的资源。 比如一种对齐方法在现有模型上有效,到了能力更强的下一代模型上是否仍然可靠?一次评估没有发现风险,是模型足够安全,还是测试方法没有触及它的薄弱点? 回答这些问题,需要顶级