TAG

#評価

4 件の記事がこのタグでまとめられています。

hash で再計算スキップ / dim を 1536 → 256 / バッチング。月 $42 が $0.6 になった実測。

すべてを 0/1 で判定したくなる衝動を抑える。「微妙に違う」を許容する評価設計が、本当の品質を測る。

プロンプトだけ git で管理しても、変更後の挙動を追えない。input / output / プロンプトを 1 つのコミットに含める運用。

プロンプトを改善する作業を「気分」で続けると 1 週間で迷う。RSpec のように、判定可能な eval suite を最初に書く。