[news] Self-Harness to AGI

这篇的意义在于：

当你相识以下内容，再看近期以及未来的新闻，可能三钩玉就变成万花筒了~

 
 
Background

很早从前：Continual Learning / Meta-Learning
这并不新。乃至 Ilya 自己 2017 年就参与过 continuous adaptation / meta-learning 的研究，研究模型如何在非平稳情况里利用少量经验快速适应。。
2023–2024：Test-Time Adaptation / Test-Time Training 开始进入 LLM。

1. 【TTT】
3. Pretraining
4. ↓
5. Inference
6. ↓
7. 看到新数据
8. ↓
9. 更新部分 weights
10. ↓
11. 继续 inference

复制代码

2025：一个非常关键的变化——Fast Weights
 
发展轨迹踪迹~

1.                 Continual Learning
2.                        │
3.         ┌──────────────┼──────────────┐
4.         ↓              ↓              ↓
5. Meta Learning       TTT          Online Learning
6.         │              │
7.         │         Fast Weights
8.         │              │
9.         └───────┬──────┘
10.                 ↓
11.        Test-Time Self Improvement
12.                 │
13.                 ↓
14.         Continuous Learning AI
15.                 │
16.          ┌──────┴──────┐
17.          ↓             ↓
18.     学术界公开研究      SSI
19.    ByteDance / 大学     Ilya
20.    等很多团队           ???
21.                          │
22.                          ↓
23.                   技术暂未公开

复制代码

 
 
 
2026年的趋势

今天研究者已经开始意识到：“Self-improvement ≠ 肯定要 fine-tune 模型。” 可以改动 memory, skills, prompt等等一切可以提高模型终极效果的“变量”。

1. Self Evolution
2.       │
3. ┌────┼─────┬────────┐
4. ↓    ↓     ↓        ↓
5. weights memory skills harness

复制代码

 并且还要知道改哪个会性价比最高。

1.                     Self-Evolving Agent
2.                             │
3.            ┌────────────────┼────────────────┐
4.            │                │                │
5.            ↓                ↓                ↓
6.        Model Evolution   Harness Evolution  Memory/Skill Evolution
7.            │                │                │
8.       fine-tuning       prompt/tools        experience
9.       online RL         workflow            skill library
10.       fast weights      verifier            memory
11.            │                │                │
12.            └────────────────┼────────────────┘
13.                             ↓
14.                    Evolution Controller
15.                             ↓
16.                决定什么时候、改什么
17.                             ↓
18.                    Streaming Tasks
19.                             ↓
20.                   长期持续学习

复制代码

 
技术我给的位置Fast weightsLevel 1–2Test-time fine-tuningLevel 2Self-Improving LLM Agents at Test-TimeLevel 3EvoTest / continual test-time evolutionLevel 3.5–4Self-Harness / skill evolutionLevel 4weights + harness + memory 联合自主进化Level 4–5，当前 frontier像人一样长期自主学习、稳定越来越强还没解决 

Therefore，约莫已经摸到 Level 4.5，但只是早期论文原型。

 
 
 
Ilya当初看到了什么

Ilya 在 2024 年离开 OpenAI 后创办 SSI，同年 9 月就对 Reuters 说，他发现了“一座与此前工作不同的山”，所以新公司才故意义。这个措辞很强，说明他并不是简单想“再练习一个更大的 GPT”。
而到 2025 年，他把自己的判断说得更清楚了：过去几年是 age of scaling，现在应该重新进入 age of research；他特别强调现有模型的 generalization 很差——人类能从少量经验快速学习，模型却必要巨量数据和练习。

1. 2018
2. GPT-1
3. │
4. │ 预训练 + 微调
5. │ “先把知识学进 weights”
6. ↓
7. 2019
8. GPT-2
9. │
10. │ Scaling 开始显示威力
11. ↓
12. 2020
13. GPT-3
14. │
15. │ Few-shot / In-context learning
16. │ 不改 weights，仅靠 prompt 临时适应
17. ↓
18. 2022
19. InstructGPT / ChatGPT
20. │
21. │ RLHF / instruction following
22. │ 模型更会“使用自己的能力”
23. ↓
24. 2023
25. GPT-4 / 大模型 Scaling 高峰
26. │
27. │ 更大模型 + 更大数据 + 更多算力
28. │
29. ├──────────────────────────
30. │ 这里开始出现问题：
31. │ “继续扩大规模到底还能带来多少？”
32. ↓
33. 2024
34. 研究方向开始分叉
35. │
36. ├─ Reasoning / Test-time compute
37. │
38. ├─ Agent / Tool use / Harness
39. │
40. └─ Continual / Test-time learning
41.         ↓
42. <strong>2025</strong>
43. Level 1–3 快速发展
44. Fast weights
45. Test-time fine-tuning
46. Self-improving agents
47.         ↓
48. <strong>2026</strong>
49. Level 3.5–4.5
50. Continual Agent
51. Self-Harness
52. Harness evolution
53. Weights + Harness co-evolution
54.         ↓
55. 未来
56. Level 5
57. Open-ended continual self-learning

复制代码

 
所以，2025年，是重要的一年！进展很快！

1. 2018–2023
2.                 GPT Scaling Era
3.                       │
4.                       │
5.               Level 0 做到极致
6.                       │
7.                       ▼
8. 2024              Ilya ?
9.               “这不是终局”
10.                       │
11.               找到另一座 mountain
12.                       │
13.                       ▼
14. 2025          Learning Era 爆发
15.               Level 1 → 2 → 3
16.                       │
17.                       ▼
18. 2026          System Learning
19.               3.5 → 4 → 4.5
20.                       │
21.                       ▼
22. 未来                 Level 5
23.           Open-ended Continual Learning
24.           真正长期自主成长的 AI

复制代码

 
 
 
Jeff Dean看到了什么

Jeff Dean 这边很明确：2026 年 8 月 5 日左右公开离开 Google，并和 Sanjay Ghemawat、Quoc Le、Oriol Vinyals 一起创办 Discovery Loop，目的是用 AI 主动化并加速科学与工程发现。
Jeff 无需考虑“主动化”提高的题目，因为这是目前可以靠堆积人力得以解决，对于大厂高管，这貌似已不具备吸引力，更何况已经有Ilya和David Silver占了坑位。
 
 
 
通往AGI的最后一公里

两拨人，两个方向，正在构建一个加速循环。

Two signals from the past month caught my attention:
Ilya Sutskever seems focused on how AI can grow into a PhD-level researcher. Jeff Dean seems focused on how PhD-level AI can accelerate scientific discovery.
Put the two together, and an interesting positive feedback loop emerges:
Better AI researchers → new discoveries → new knowledge → even better AI researchers → deeper discoveries.
Perhaps this is how we eventually grow an “Einstein-level AI.”

 
 
Good Luck!