CATEGORIES · 03 / 05

AI

モデル、プロンプト、alignment の周辺。数値と哲学の境界線で書く記事。（68 本）

OpenAI embedding を毎回叩いていては破産する。再計算スキップ・dim 圧縮・バッチング、3 つの基本だけで激減する。

プロンプトだけ git で管理しても、変更後の挙動を追えない。input / output / プロンプトを 1 つのコミットに含める運用。

「正確に書いて」よりも「出典の URL がない情報は書くな」の方が効く。プロンプト 1 行で 80% の幻覚は消える。

tool_use を「LLM がツールを呼ぶ」と素朴に考えると、4 つの設計パターンが見えてくる。委譲・ループ・並列・批評。

512 や 1024 でも動く。でも 256 が多くのケースで「ちょうどいい」のはなぜか。検索精度と再構成可能性のバランスから。

プロンプトを改善する作業を「気分」で続けると 1 週間で迷う。RSpec のように、判定可能な eval suite を最初に書く。

コンテキストが 1M トークンあると、メモの取り方が変わる。「全部入れる」ではなく「正しく入れる」ための分類。

「お前は熟練の◯◯だ」より、「タスクの分解者」「実行者」「批評者」を分けて配役するほうが、出力の質が安定する。