プロンプトとログをまとめて版管理する

問題

プロンプトを修正したコミットだけでは、何が改善され、何が悪化したかを判断できない。

解決

1 つのプロンプト変更コミットには、以下を必ず含める:

• 変更後のプロンプト本文
• 代表的な input
• 変更前の output（before）
• 変更後の output（after）
• 評価軸ごとの差分（chars, JSON validity, etc）

ディレクトリ構造

prompts/
  summarizer/
    v3.md           # プロンプト本文
    eval/
      cases.yml     # 入力ケース
      outputs/
        v2.json     # 旧バージョン出力
        v3.json     # 新バージョン出力
    changelog.md

レビュアの仕事

コードレビューと違って、プロンプトレビューは「diff だけ見ても判断できない」。output の比較が unidiff で出ていれば、ようやく判断できます。

まとめ

プロンプトはコードと同じくらい version 管理に値する。ただし「コードと同じ管理」ではなく、「ログとセットで管理」が必要です。