这就有人开始系统性编纂 context engineering 的资源了：https://github.com/davidkimai/Context-Engineering

最近读到最喜欢的一篇文章是 Writing Code Was Never The Bottleneck [^1]，它讲到软件工程的真正瓶颈从来不是编写代码本身，而是代码审查 (code reviews)、知识传递 (knowledge transfer)、测试 (testing)、调试 (debugging) 以及团队协调沟通 (coordination and communication) 等需要思考、共同理解和判断的人工流程。

这些观点让我很有共鸣，许多都是这些年来经历和思考产生的真实感受。而且我还想到，这个话题，还可以面向一个我更关注的事情——做产品，那么大体观点仍然是一致的，但也会有一些不同的侧重，比如第二段可以变成：

The actual bottlenecks were, and still are:
- design UI and business logic workflow, reflect them clearly in a PRD (Product Requirement Document)
- project and time management, the right pace of the development-testing-shipping circle
- marketing
- mental health control, life routine, working momentum
- the courage to start doing it, and accept failure to rework again

于是我让 Gemini 阅读原文，然后以 "writing code was never the bottleneck in making product for indie developer" 为题重写一篇新文章。我没有把上面这些我自己的想法输入给它，因此得以在它写的新文章中发现一些新观点。我感觉这是种很好的 AI 用法，即当我阅读一篇文章意犹未尽时，让他基于原文写出更多内容。阅读这件事情最好不要让 AI 代劳，但生产给自己阅读的内容可以。

下面是 Gemini 写的新文章：
https://telegra.ph/Writing-Code-Was-Never-The-Bottleneck-07-05

---

[^1]: https://ordep.dev/posts/writing-code-was-never-the-bottleneck

https://huggingface.co/blog/smollm3
Hugging Face 发布 SmolLM3，一个 3B 小模型。他们非常慷慨地提供了完整的技术细节，从 model architecture 和 data mixture 到 pre/mid/post training 的多个 recipe 🫡

忘了发，上个月两篇关于 multi agent 的经验谈，值得一看

https://www.anthropic.com/engineering/built-multi-agent-research-system

https://cognition.ai/blog/dont-build-multi-agents

这篇是我读过最醍醐灌顶的对现代理论物理的全面“科普”。打引号是因为大部分内容其实并没有解释到门外汉也能看懂的程度…… 虽说如此，我读完以后还是对最小作用量原理和各种对称性等有了稍微不那么模糊的理解，突然感觉以后读科幻又能带着新的视角去看了！

现代数学和理论物理已经发展到怎样一个令人震惊的水平了？ - 酱紫君的回答 - 知乎
https://www.zhihu.com/question/304611853/answer/1928827087810192602

https://store.steampowered.com/app/2475490/Mouthwashing/
随手打开一个游戏没想到是非线性叙事神作；延续制作组之前作品的诡异美术风格，让人感叹 indie 的无数种可能：只要有出色的点，不需要画面精良或是海量内容也可以做出好游戏。
流程不长，我甚至在 steam 退款时限内就打完了。
通关以后发现，故事其实非常简单，没有任何多余的要素，但你会开始深思故事的主旨…

Kaggle 推出 Game Arena，明天中午来看第一个比赛，八个 model 下国际象棋 👀
https://www.youtube.com/watch?v=En_NJJsbuus

https://store.steampowered.com/app/2754380/The_Roottrees_are_Dead/
90 年代风非线性解谜游戏，真的好玩，her story 升级版 🎮

https://www.youtube.com/watch?v=-HzgcbRXUK8
ICYMI: 来听 Demis 独特的成长经历和对 AI 以及科技发展的深刻思考。
（这一期两个多小时的采访感觉喂饱了无数自媒体 😂

https://stratechery.com/2025/paradigm-shifts-and-the-winners-curse/
这期蛮有意思，讨论 Apple 和 Amazon 在 AI 战略上的异同以及跟上一次 paradigm shift (desktop -> mobile) 时进行对比

https://william-rous.itch.io/type-help
最近风很大的变格推理游戏，纯文字+暴风雪山庄模式，真的很好玩！
而且它正在由 The Roottrees are Dead 的团队重制成 https://store.steampowered.com/app/3641000/The_Incident_at_Galley_House/ 预计明年发布 🤩

https://minusx.ai/blog/decoding-claude-code/

Claude Code 为什么这么好用？这篇文章总结了以下几点：

1. 保持架构简单：不使用 multi-agent，只有一个 main loop，最多只 branch 出一个 sub agent 来处理复杂问题，避免了多 agent 之间 context handoff 的复杂性和 failure pattern。

2. 教科书级别的 prompt / context engineering：这点直接读 Claude Code 的 system prompt 就可以体会。

3. 巧妙的工具设计：提供三类不同抽象层级的工具；另外很重要的一点就是不使用 RAG 而是让 agent 用 find 和 grep 等低层级的工具去直接阅读代码

4. 对于比较复杂的 task，直接在 prompt 里面把算法一步一步列出来并辅以例子；避免使用一大堆 Dos and Don'ts。

此外还有很多文章里没有单独拿出来作为一类的各种小 tricks，比如让 agent 显式地管理一个 todo list 并时不时地在 main loop 里面以 system reminder 的形式提醒自己当前的 todo 是什么。

又一篇来自这个大神的深度好文：https://www.aleksagordic.com/blog/vllm

之前推荐过他解析 flash attention 的文章：https://gordicaleksa.medium.com/eli5-flash-attention-5c44017022ad

Thinking Machines 最近连珠炮般发布了一系列文章，都是高质量的好研究。令人感叹最优秀的团队往往能够溯其本源，从 first principle 出发对一个问题进行全面而又深度的挖掘。我在这里按自己的节奏发一点学习笔记。

首先是这篇关于 LoRA 的：https://thinkingmachines.ai/blog/lora/

一些有意思的结论：

- 在比较理想的条件下，LoRA 可以获得跟 full parameter fine tuning 同样的效果。这里的理想条件主要是训练数据包含的信息量不能超过 LoRA 参数的 capacity。

- LoRA apply 到所有 layer（尤其是 MLP）的效果要比只 apply 到 attention layer 要好。而且这一点甚至不是因为 apply 到所有层会自然导致总参数量变大。比如实验发现 rank 256 attention only 的 LoRA 表现依然没有 rank 128 MLP only，即使两者参数量差不多。

- LoRA 非常适合用来做 RL 训练，哪怕是最低的 rank 1 也能匹配 full parameter RL tuning 的效果。文章给出的解释是，从信息论的角度来说，一个基于 policy gradient 的 RL 训练算法，每步只从训练数据中“吸收”O(1) bits 的信息。所以这就不像 SFT 那样对 LoRA 参数总能够储存多少信息提出比较高的要求。

- LoRA tolerate 大 batch size 的能力更差。实验发现这个观察跟 rank 无关，所以猜测是跟 LoRA 本质有关，可能是因为两个低秩矩阵相乘这种形式相比于单独一个矩阵来说，optimization dynamics 更差一点。

文章后面还有一些关于 LoRA 调参的实验结论，就不赘述了。

P.S. 以 LoRA 问世之早、应用之广，现在才有这样的研究反而是令我惊讶的……

https://gregorygundersen.com/blog/2025/10/01/large-language-models/

预感这篇会是 LLM Researcher 必读：作者把跨越数十年的语言模型研究梳理成了一条清晰的时间线，讲述我们是怎么一步一步得到今天的 transformer based LLM 的。文章的思路非常 from first principles，并且用前后一致的符号串起了 N 篇不同的论文的要点。

非常喜欢文尾的一段话：

> If you feel that it’s a bit perverse that next-word prediction is a sufficient objective to solve elite math problems, if this feels like a stochastic parrot outsmarting you, then you might feel some of the discomfort early linguists felt at statistical language modeling. This is the visceral feeling of the bitter lesson. Our specialized knowledge feels expendable and our intuitions about understanding seem irrelevant in the face of raw computation and speed.