計測は、製品の画面と同じ答えが出るかを実際に突き合わせて、いちばん近いモデルで行っています。名前が同じでも中身は違うことがあるため、名前ではなく答えの一致で選んでいます。
一致の測り方: 同じ 15 の質問を製品の画面と API に 2 回ずつ投げ、社名の顔ぶれの一致（Jaccard）を「製品の画面どうしの一致」で割った比で見ます。0.8 以上を採用、0.6 未満は製品の画面との一致を謳わず「API 面の計測」と明示します。
2026-W43・10/19 実行分からの計測に使っているモデルと、製品の画面との一致（天井比）です。製品の画面が同じ問いにもう一度答えたときの一致を 1 として、どれだけ近いかを示します。
| 製品の画面 | 計測に使うモデル（API） | 最終較正 | 一致（天井比） | 備考 |
|---|---|---|---|---|
| ChatGPT 無料版 | gpt-6-luna | 2026-10-13〜14 | 0.83（幅 0.55〜1.14） | 無料版は 10 回前後で軽いモデルに切り替わることがあり、その状態も含めて較正 |
| Gemini アプリ 無料版 | gemini-3.6-flash | 2026-10-12 | 1.00（幅 0.90〜1.21） | 製品のもう 1 回の答えと区別がつかない水準 |
| claude.ai | claude-sonnet-5-5 | 2026-10-12 | 0.82（幅 0.72〜1.21） | claude.ai は金融・医療の助言型の問いで社名を出さないことがある（API は出す）。保険の問いを除くと 0.88 |
| Perplexity | sonar | 2026-07-19 | 0.6 未満 | 製品の画面との一致は謳わない（API 面の計測） |
製品側の変化と、当社の計測モデルの変更を日付つきで残します。計測モデルの変更が効く週は、週次レポートの脚注にも同じ文で載せます。
| 日付 | 何が変わったか | 較正の結果 | 計測モデルの変更が効く週 |
|---|---|---|---|
| 2026-10-14 | 3 製品の計測モデルを更新（ChatGPT gpt-5.6-luna → gpt-6-luna／Gemini gemini-3.5-flash → gemini-3.6-flash／Claude claude-sonnet-5 → claude-sonnet-5-5） | ChatGPT 無料版 0.83・Gemini 1.00・claude.ai 0.82（いずれも採用水準） | 2026-W43（10/19 実行分）から |
| 2026-10-12 | 製品側の変化を確認: ChatGPT が GPT-6（10/7〜8）、Gemini アプリが 3.6 Flash（7/21）、claude.ai が 5.5 系 | 3 製品 × 3 候補で較正（10/12〜14） | ― |
| 2026-08-19 | Claude の計測を claude-sonnet-5 で開始 | 画面どうしの差がノイズの幅の中 | 2026-W34 から |
| 2026-07-20 | Gemini の計測モデルを gemini-3.5-flash に変更 | 1.03（採用） | 2026-W31 から |
| 2026-07-19 | Perplexity は製品の画面との一致が 0.6 未満 | 「API 面の計測」と明示 | ― |
| 2026-07-17 | ChatGPT の計測モデルを gpt-5.6-luna に変更 | 採用水準 | 2026-W30 から |