AI
決定モデル、Jev と Kev
テキストの代わりに確率を返すモデルJevが公開された。confidenceは学習された値ではなく算術であり、キャリブレーションはモデルではなく分布の性質だ。公開されたJevの実測5,743件と、再現実装Kevをこのブログの音写ゲートに直接かけた結果で確かめる。
LLMのキャリブレーションと過信
キャリブレーションは正解率ではなく、自分が何パーセント当てるかを知る能力だ。ECEがそのズレをどう測るか、GPT-4技術レポートでpost-training後にECEが0.007から0.074に悪化した結果と、その原因がどこまで明らかかを整理する。
Harness（Systems）Engineering
prompt engineeringからcontext engineeringへ、その次はどこへ向かうのか。Anthropicのエンジニアリングブログに見られる最近の流れを手がかりに、harness設計、eval、containment（隔離）という3つの方向とtoken節約の議論とのつながりを整理する。
AIトークン節約術
AIコーディングツールのトークン費用はどこで発生し、どう減らせるのか。Anthropicの価格表とprompt caching、subagent、MCPの整理、context engineering、Cursor Composerまで、検証済みの節約パターンをReactのPOCで実測する。
トークンの仕組み
AIのトークンは単語でも文字でもない。BPEトークナイザーがトークンを作る方法、トークンがembeddingベクトルとなってモデルに入る流れ、prefillよりdecodeの出力が高い理由、KV cacheとprompt cachingがコストを下げる仕組みまで解説する。
コンテキストファイル
CLAUDE.md・AGENTS.md・SKILL.md・Cursor rulesがいつ、どのようにエージェントに読み込まれるのかを整理する。CLAUDE.mdがuser messageとして注入される仕組みとコンテキストの忘却、ETH Zurichの研究をもとに、何を書くべきかの基準を示す。
コードインテリジェンスの4つの階層
AIコーディングエージェントが関連コードを探すコストを減らすツールを4つの階層に分けて比較する。Repomixのようなコンテキストパッキング、Aiderのtree-sitterリポジトリマップ、CodeGraphのナレッジグラフ、SerenaのようなLSPベースのツールを整理する。
MCPとfunction calling
MCPがfunction callingとどう違うのかをプロトコル構造から整理する。6つのプリミティブ、stdioとStreamable HTTP、tools/listからtool_useループまでの流れ、Tool Poisoningなどのセキュリティ問題を扱う。
AIフロントエンドエンジニア
AIがコードを書く時代に、フロントエンドエンジニアはどう成長できるのか。Karpathyのagentic engineering、Vercel v0、METRの研究をもとに、検証・仕様化・判断力を軸とした新たな能力を整理する。