Lauren Tan 氏は AI コーディングで何をしているのか: 決定性の逆ピラミッドと pstack
こんにちは。ジェダイパンくず🍞 です。 最近 Lauren Tan 氏 (GitHub / X では poteto) の AI コーディングの話をよく見かけます。React core team のメンバーで、講演では Grokbot という Electron 製のデスクトップアプリを開発するチームの話をしていました。講演では「チームで先月 11,000 本の PR をエージェントが書き、revert されたのは約 0.5%」という数字が出ていて、これがよく引用されています。 講演の内容や、本人が公開している pstack という skill 集を読んでみたので内容をまとめつつ、pstack を自分の dotfiles にも取り込んでみたので、その際に考えたことも記します。 決定性の逆ピラミッド 講演の中心にあったのは、エージェントの振る舞いを何で縛るかを、決定的なものから順に並べた逆ピラミッドの図です。 コード: API 設計、アーキテクチャ、lint、型、コンパイラ、テスト。一番厚くする 検証: runtime での検証、形式検証、property-based testing 文章: rules、skills、ドキュメント。一番薄くする CLAUDE.md や AGENTS.md のような文章の層を一番薄くする、という考え方です。エージェントが間違えたときのことを、講演では次のように話していました。 “don’t write another rule in a prompt file” エージェントを直すたびにプロンプトファイルへルールを 1 行足すのではなく、lint などの決定的なチェックにするか、そもそも間違えようがない API やディレクトリ構成にする、ということです。プロンプトに書いたルールは守られないことがありますが、lint のエラーは違反すれば必ず出ます。 自分も CLAUDE.md にルールを足し続けて、長くなるほど守られなくなる経験をしていたので、ここは刺さりました。 lint のエラーメッセージに直し方を書く 具体例として、Grokbot では次のようなものを禁止しているそうです。どれもこのプロジェクト固有の判断で、本人も一般論として勧めているわけではありません。 ...