測定方法

このサイトの数値がどう作られているかを公開します。主観や掲載料は順位に一切影響しません。

生成AIに採用代行について質問し、回答に名前が挙がった回数を数えています。製品の品質・価格・満足度を評価しているのではありません。

1つの状況を1問だけで聞くと、標本が 4 しかなく、半数が挙がっても95%信頼区間は15〜85%になり、何も言えません。言い回しを変えて複数回聞くことで標本を確保しています。同じ文を繰り返すのではなく言い回しを変えるのは、同一の質問文の反復では回答が似通い（級内相関 0.63）、情報が増えないためです。

各状況につき 5 通りの言い回しを用意しています。ここでは1つずつ掲載しています。質問文の全文は、掲載企業からの求めに応じて開示します。

隣り合う順位の多くは統計的に区別できません。1位刻みで並べると実際より精密に見えてしまうため、区別できない範囲は同順位として扱っています。

判定には McNemar検定を使っています。同じ質問に同じAIが答えた結果なので標本に対応があり、両社とも挙がった回答は差の情報を持ちません。そこで食い違った回答だけで判定します。両社がよく一緒に挙がる組ほど、小さな差でも区別できます。

同順位の幅は標本数で決まります。質問を増やすほど狭くなります（18問なら 14.2pt、52問なら 7.9pt、85問なら 6.1pt）。

2回以上名前が挙がった企業をすべて掲載しています。1回だけの言及は抽出の誤りが混じるため除いています。掲載の可否・順位に、当サイトの主観や金銭は関係しません。

上位群は順位と数値を、それ以降は五十音順で社名のみを掲載しています。上位群との差が統計的に確かめられない以上、順位をつけることが正確でないためです。

測定した号ごとに、質問数・対象AI・実際に応答したモデルを残しています。この表は測定データから自動で作られます。手で書いていないので、都合の悪い号だけ落とすことはできません。

質問の内容は変えません。変えると前後の号が比較できなくなるためです。質問を変えた月は、推薦度の前月比を掲載しません。

AI提供側のモデル更新は、こちらでは止められません。そのときは更新されたAIを前月比の計算から外し、残ったAIで前月ぶんも集計し直して比べます。先月の4つのAIで出した値と、今月の3つのAIで出した値を引き算すると、モデルが変わっただけの分が「変化」に化けるためです。AIが減るぶん誤差は広がるので、その月は閾値も計算し直して表示します。推薦度の前月比を出さないのは、すべてのAIが同時に更新された月だけです。

掲載媒体数は、モデルの更新と関係ありません。AIの回答ではなく媒体ページの掲載そのものを見ているためで、どの月でも比較できます。ただし両月とも取得できた媒体だけに揃えてから比べます。片方の月にしか無い媒体を数えると、調べた媒体が増えただけの分が「掲載が増えた」に化けるためです。

モデルは日付・版つきの名前で指名しています。「最新版」という指定の仕方をすると、提供元の都合で中身が入れ替わった瞬間に数値が動き、原因が各社の取り組みなのかAI側の入れ替わりなのかを後から切り分けられなくなるためです。指名しておけば、切り替わるのは当方が切り替えたときだけです。

ただしPerplexityだけは固定できません。製品名（sonar）しか受け付けず、応答も製品名しか返さないため、中身が入れ替わっても直接は分かりません。そこでモデルが変わると全社の数値が一斉にずれ、個々の会社の取り組みではそうなりません。全社の前月差の中央値を毎月見て、一斉に動いていないかを確かめています。

新しいモデルへ移るときは、その月だけ新旧の両方で測ります。同じ月・同じ質問で並べれば、モデルを替えたことによる差を直接測れます。その月の前月比は旧モデルどうしで出し、翌月から新モデルどうしの比較が続きます。水準がずれた場合は、そのずれ幅をここに公開します。

この測定には偏りがあります。偏りのない測定は存在しないので、どこに偏っているかを先に書いておきます。

• 質問は当サイトが選んでいます。17の購買状況を想定し、それぞれ言い回しを変えて85問にしています。ここに無い状況に強い企業は、構造的に挙がりにくくなります。質問文の全文は掲載企業からの求めに応じて開示します。
• 4つのAIを均等に扱っています。実際の利用者数はAIごとに大きく違うため、利用実態とは一致しません。AI別の内訳を必ず併記しているのはこのためです。
• 1問につき1回しか尋ねていません。生成AIの回答は非決定的で、同じ質問でも結果が変わります。誤差の幅（±2.3pt）はこれを織り込んだ値です。
• JavaScriptで本文を描画している媒体は判定から除いています。取得しても中身が読めないためで、今回は3件を除きました。そこにしか掲載のない企業は、実際より少なく出ます。
• 社名の抽出には取りこぼしがあります。表記ゆれを機械と人手で寄せていますが、完全ではありません。誤りを見つけた場合はお問い合わせよりご指摘ください。訂正します。
• 測っているのは各AIのAPIで、アプリそのものではありません。ChatGPTやGeminiのアプリには、APIには無い指示や個人化が入っており、同じ質問でも答えは完全には一致しません。また、アプリの既定モデルが変わる時期と、当サイトが使うモデルを切り替える時期にはずれが生じます。放置すると「利用者が受け取る答え」と離れていくため、年2回（4月・10月）、その時点で最も新しいモデルでも同じ質問を測り、差が出ていないかを確かめています。差が出た場合は切り替え、そのずれ幅をここに公開します。
• AIのモデルが更新された月は、更新されたAIを前月比の計算から外し、残ったAIで前月ぶんも集計し直して比べます。測り方の違いを「変化」として報告しないためです。
• AIの回答は検索結果に依存するため、測定時点の検索状況を反映します。

これらは企業の優劣ではなく、測り方の性質です。当サイトは「生成AIがそう回答した回数」を公開しているだけで、掲載企業の品質・実績・料金について何も主張していません。

測定方法に関するお問い合わせはこちらから承ります。掲載内容についてのお申し出の扱いは、掲載と削除の方針にすべて書いています。