来源|正和岛 最近，一则消息在AI圈引起了热议。 17岁的“天才少年”陈广宇在社交平台发文宣布，离开月之暗面（Kimi）。 几乎同一时间，Anthropic可扩展强化学习方向研究员肖尔托·道格拉斯现身评论区“挖人”。 坊间更是有传闻，陈广宇前脚宣布离开前东家，随后便收到了5份工作邀约，金额均在100万美元（约合700万元人民币）以上。 陈广宇究竟何许人也？ 17岁的“天才少年”陈广宇 01 最火高中生，归来17岁 根据网上公开资料，陈广宇2009年出生于深圳，中学就读于国际学校，今年刚刚高中毕业。 中学时期，他尝试过很多事情：用家长身份注册Shopify店铺、组织青少年开源社区、做机器人，甚至想过要成为职业滑雪运动员。 2024年4月，正在读高一的陈广宇做了一个在当时看来颇为“冒险”的决定： 他不愿“机械地走流程”，遂暂停所有他不喜欢的事。这对国际学校的学生来说，意味着放下为大学申请而积累的社区服务、课堂成绩，以及一切国际学校学生该做的事。 此时，他入手了一本早就想读的关于人工智能安全的书，而这次阅读激发了他更深的兴趣，于是开始大量阅读物理、宇宙和史蒂夫·乔布斯相关的书籍。 “在那几周里，我学习纯粹是为了满足自己的好奇心，而非想要向别人证明自己。”他在个人博客中如是写道。 2025年2月，对陈广宇来说，是一个重要的节点。当时陈广宇带着一个叫ThirdArm的项目，参加了一场中学生黑客松。他的项目源于对人类增强能力的原始好奇，提出的是一个关于“人类第三只机械辅助手”的创新构想。 命运的齿轮也在此刻悄然转动，因为这一项目，他结识了前YC中国、奇绩创坛创始团队成员董科含。 董科含给了陈广宇一个建议：把注意力放到更前沿的技术上，而不是停留在机械辅助手这类项目上。 陈广宇听进去了，这一建议直接改变了陈广宇接下来的路径。自此，他开始用AI研读论文、追踪GitHub上的开源项目，逐步建立起对机器学习的认知。 很快，他在社交平台的技术分享，引起了一家硅谷AI初创公司（Tilde Research）CEO的关注，并拿到了公司录用通知。 据一些媒体报道，董科含曾提醒陈广宇，别把自己当实习生，要当CEO。也是从那之后，他参与的内容逐步从技术问题延展到更复杂的议题，包括运营搭建、融资节奏、投资人沟通以及长期战略思考。 陈广宇从硅谷实习回国后，决心继续将注意力放在大模型上，他只投了两份简历：DeepSeek和月之暗面（Kimi）。 最终，Kimi团队的研究员、业内公认的顶级学者杜雨伦拍板将16岁的陈广宇招进团队。因为陈广宇年仅16岁，未到法定工作年龄。月之暗面进行了多轮沟通，最终以实习形式将陈广宇招入Kimi。 后来的故事，就为人熟知了。陈广宇加入Kimi，继续研究模型架构。而不到一年，陈广宇又决定离开，去探索和追随新的好奇心，踏上新的征程。 尽管陈广宇一直强调“不要造神”，但做完这一些事情，归来才17岁，依旧让人觉得恐怖。 02 发布核心论文，被马斯克点赞 那么，陈广宇的研究成果是什么？ 陈广宇在硅谷时期，深度参与了MoMoE项目。此外，他还参与了优化器相关研究。 而加入月之暗面后，较早参与的工作之一，是加速KDA，即Kimi Delta Attention的计算内核。 陈广宇交出的成绩单中，最瞩目的一张名片就是Kimi团队发布的一篇论文：《Attention Residuals》。 这篇论文被埃隆·马斯克转发，马斯克称这项工作“令人印象深刻”。而这篇论文的共同第一作者就是：苏剑林、陈广宇、张宇。 这篇论文的厉害之处，在于它试图改写自2017年Transformer架构提出以来、大模型多年沿用的一项核心设计：残差连接。 而完整的故事是这样的： 团队最初做出了一个相对简单的版本，实验结果已经明显优于传统残差连接。随后，陈广宇和张宇两人加入，在更大规模模型上继续推进验证，并提出了论文中的关键设计之一，Block AttnRes（分块注意力残差）。在尽量保留“注意力残差”效果的同时，把额外成本压了下来。 什么意思呢？笔者试着用最简单的话来总结，标准残差连接是每个工人干完活，把结果加到前面传过来的信息上，再传给下一个工人。但是层数越多，信息就会被稀释，模型记不住早期信息了。如果让工人逐层翻看所有工人的历史记录（全注意力残差），占用高内存，训练成本就会特别高昂。 而Block AttnRes，则是把模型内部的层进行分组，组内照旧逐层累加；组间不逐一翻看每一层，而是先把每组压缩成一个“摘要”，当前层只和这些组摘要做注意力计算。这样既保留了“回头参考历史”的能力，又不用对所有层逐一做全量注意力，成本和延迟就降下来了。 Block AttnRes把成本和延迟都降下来了 据Kimi官方披露，这套方法让模型学会“选择性记忆”，训练效率提升25%，推理延迟增加不到2%。
