Lolalyticsの勝率は間違っている？海外プレイヤーの検証にRiotも反応

Lolalyticsの勝率は上位ランクほど高く出る？海外ユーザーの検証にRiotのリードデザイナーも反応

パッチが来るたびに、統計サイトの勝率を見て、強いチャンピオンや調整の影響を確かめるプレイヤーは多い。今回の投稿は、その数字がどのような仕組みで集計されているのかに踏み込んだものだ。

この記事のポイント

OPの主張は、Lolalyticsに表示される勝率が、プラチナより上のランクほど実際より高く出ている、というものだ。

原因として挙げられているのは集計方法だ。Lolalyticsは直近3日間の試合を、分析した時点のプレイヤーのランクで集計し直している。すると、3日の間にプラチナからエメラルドへ昇格したプレイヤーは、昇格前にプラチナで戦った試合までエメラルドの試合として数えられる。昇格できたということは、その試合の多くに勝っていたということだ。逆に、エメラルドから降格したプレイヤーが降格前にエメラルドで負けた試合は、エメラルドのデータから外れる。どちらも上位ランクの勝率を押し上げる方向に働く。OPはこれを先読みバイアスと呼んでいる。

OPは根拠として、自分でデータを集めて検証している。Lolalyticsと同じ数え方をすると、エメラルド+のプレイヤーはプラチナ相手に約70%勝っているように見える。しかし、ランクを試合前の時点で固定して数え直すと、勝率はほぼ50%に収まった。マッチメイキングが公平な試合を組んでいる以上、50%前後が本来の姿だというのがOPの見方だ。また、パッチが変わるたびに勝率がいったん50%近くに戻り、日を追って膨らんでいく動きも、このバイアスで説明できるとしている。

OPが実害として挙げるのは、主に次の3点だ。

1つ目は、パッチ直後の比較が当てにならないこと。水増しが乗り切るまでには時間がかかり、公開から半日の時点では、水増し分が本来の半分以下しか乗っていない。そのため前パッチと比べると、実際の調整に関係なく、全チャンピオンの勝率が下がったように見える。

2つ目は、マッチアップの有利不利を示すΔ1が過大に出ること。両チャンピオンの水増しが足し込まれるため、数字の上では有利に見えても、実際には平均並みか不利な場合がある。

3つ目は、水増しの大きさがチャンピオンによって違うこと。低レートでよく使われるチャンピオンほど、昇格してきたプレイヤーの試合が多く混ざる。OPの分析では、ミス・フォーチュンやワーウィックは水増しが大きく、レク＝サイは小さい。この差によって、勝率ランキングの順位にもズレが生じるという。

OPは、全体に一律の水増しであれば補正できるが、パッチ直後の比較とチャンピオンごとのばらつきは補正が難しい、としている。

OP全文（長文）

TL;DR：Lolalyticsのエメラルド+勝率51.78%が本当だとすると、エメラルド+のプレイヤーはプラチナのプレイヤー相手に、プレイヤー単位の試合で71.5%勝っていなければならない。

実際はそんなに勝っていない。どうやら原因は、Lolalyticsが3日前の試合を現在のランクで分析していることにある。これが先読みバイアス（ルックアヘッドバイアス）を生み、ゴールドより上のすべてのティアの勝率を水増ししているらしい。わかりやすい証拠のひとつが、新パッチが出るたびに全ランクの勝率が50%近くにリセットされ、時間とともにバイアスが蓄積して、また開いていくという現象だ。

注記：データ収集用スクリプトの作成とグラフの生成にはClaudeを使った。アイデア、検証、データ分析、執筆など、それ以外はすべて自分でやっている。

パート1：欠陥（ランクの遡及的な割り当て）

「直近3日間のデータは、分析時点のサモナーの現在ランクで継続的に再分析されている」（Lolalytics開発者）

テスト1：Lolalyticsの欠陥を再現する

Lolalyticsのパッチ16.17におけるエメラルド+の平均勝率は51.78%だ。エメラルド+の試合の大半は、両チームのエメラルド+プレイヤーの人数が同じ試合だから、エメラルド+の勝率はきっちり50%になるはずだ。全体の勝率を押し上げられるのは、エメラルド+の人数が両チームで偏っているミスマッチ試合だけだ。

実際の数字を出すために、現在エメラルド+のプレイヤーを無作為に抽出して、直近3日間の戦績を見た。成績を計算するのと、エメラルド+のプレイヤー単位の試合のうち、ミスマッチがどれくらいの割合かを推定するためだ。

自分のサンプルでは、エメラルド+のプレイヤーはミスマッチ試合の69.71%に勝ち、全体の勝率は51.59%になった。ミスマッチの割合が本当に8.28%だと仮定すると（ランク変動を考えると、たぶん過大評価）、Lolalyticsの数字に届くには、エメラルド+のプレイヤーはプラチナ相手に71.5%勝っていなければならない。

そんなのあり得ない。これらはマッチメイカーが、どちらのチームもだいたい半々で勝てるように組んだ公平な試合だ。自分のサンプルでミスマッチ勝率が69.71%になったのは、わざと欠陥のある手法を使ったからで、Lolalyticsも同じ欠陥を抱えているとほぼ断言できる。プラチナ同士だけでやったプラチナの試合が、エメラルドの試合としてカウントされてしまう。しかもそれは、その試合を勝ちまくって昇格したプレイヤーの分だけだ。これが先読みバイアスで、Lolalyticsの勝率が水増しされている理由だ。

テスト2：スナップショット分析

本当にミスマッチ効果が存在する可能性もある。もしあるなら、ランクが確定したあとに行われた試合でも、効果ははっきり出るはずだ。これを検証するために、エメラルド+のラダー（ランキング表）のスナップショットを3日空けて2回取り、その間の試合を2通りの方法で見た。

• Lolalytics方式：2回目のスナップショット時点でエメラルド+のプレイヤーを対象に、それまでの3日間の試合成績を見る
• スナップショット方式：1回目のスナップショット時点でエメラルド+のプレイヤーを対象に、その後3日間の試合成績を見る

2つの方式はある意味で対称だけど、決定的な違いは選択バイアスにある。スナップショット方式はエメラルド+のプレイヤーが未来の試合でどうだったかを見るので、試合結果が、その試合を集計に含めるかどうかに影響しない。Lolalytics方式は根本的に違う。各試合の結果が、そのプレイヤーがスナップショットに載るかどうかを左右し、ひいてはその試合がカウントされるかどうかを左右する。

Lolalytics方式だと、エメラルド+のプレイヤーは相手がほぼプラチナの時にめちゃくちゃ勝っていて、相手のエメラルドが増えるほど勝率がガクッと落ちる。理論上の本当の勝率が下がったからじゃない。そもそも高い勝率を拾い上げていた選択バイアスが、エメラルドに近いプレイヤーほど弱くなるからだ。プラチナ中盤のプレイヤーが3日以内にエメラルド+に上がるには、とんでもない連勝が必要になる。プラチナⅠの80LPなら、5勝4敗くらいで十分だ。

そして、昇格したプレイヤーが昇格までに勝った試合をカウントしないようにすると、ミスマッチ効果は消える。スナップショット方式の勝率はどの区分でも驚くほど安定していて、公平な試合から期待される通りの結果になっている。たしかに、スナップショット方式の勝率はエメラルド+の全試合を完璧に表しているわけじゃない。でも、誤って含めてしまう試合（降格したプレイヤーの降格後の試合）も、除外してしまう試合（昇格したプレイヤーの昇格後の試合）も、どちらも公平な試合だ。ミスマッチ勝率を20ポイント以上も動かせるようなものでは到底ない。Lolalyticsの数字から導かれるミスマッチ勝率71.5%が本当だなんてことは、どう考えてもあり得ない。

テスト3：Lolalyticsのパッチリセット

もっといいデータがあればよかったんだけど、この限られたデータでも何が起きているかははっきりしている。パッチのたびに、Lolalyticsの勝率は50%近くにリセットされ、そこから急速に開いていく。日が経つごとに開くペースは落ち、各ティアは水増しが最大になった勝率に漸近していく。もし勝率が本当にミスマッチ試合によるものなら、毎回こんな動きにはならないはずだ。序盤の勝率はノイズが大きいのはたしかだ。でもそれなら、定常状態の勝率の周りを上下にぶれるだけで、新パッチが来るたびに50%に戻るなんてことにはならない。

一方で、Lolalyticsの手法が先読みバイアスに汚染されているなら、まさにこうなる。パッチが出た瞬間はすべての試合が新しいので、現在のランクがそのまま試合時点のランクを正しく表している。時間が経つとプレイヤーのランクが動き、3日後の最終再分析まで、誤分類される試合の割合が増えていく。

注目すべきは、個々の試合が誤分類される確率は3日後（Lolalyticsがその試合のデータを確定させる時点）に最大になるものの、誤分類された試合の割合そのものはずっと増え続けるということだ。Lolalyticsの3日間のローリングウィンドウには古い試合が絶えず追加されていく一方、新しい試合の数はパッチ期間中ほぼ一定だ。パッチ公開から3日経っても、Lolalyticsの勝率が前パッチより低いままなのはこのためだ（16.18と16.19で確認済み）。

パート2：どれくらいひどいのか？

先読みバイアスが本物の欠陥で、高ランクのプレイヤーはLolalyticsが主張するほど勝っていないということは、ここまでで納得してもらえたと思う。このパートはかなりふわっとしている。正解データがない以上、ダメージを定量化するのは本当に難しいからだ。先読みバイアスは問題だと自分は考えているけど、このパートの主張すべてに納得できなくても無理はないと思う。

まずは一番強い主張から。Lolalyticsの高い勝率が主に先読みバイアスによるものだと考えるなら、以下のことが言える。重要度順に並べる。

1. パッチをまたいだデータ比較は、数日経つまでできない

バイアスの影響は経過日数によって変わる。以下は16.19のLolalyticsデータを、16.18の最終勝率と比べた実測値だ。

3日経つと水増しの約90%が出揃う。それでも、ダイヤモンドの平均勝率は0.18ポイント低く出る。パッチに近いほど悪化して、パッチから半日のデータだと影響は本当にひどい。この時点ではプラチナ以上の全ティアで水増し分が半減しているので、実際のバフやナーフに関係なく、全チャンピオンがナーフされまくったように見えてしまう。

2. 多くの人が混乱するし、それは本人たちのせいじゃない

Lolalyticsの数字を誤解するのはユーザーが悪いと言われがちだ。でも、マスター+で勝率55%のチャンピオンを見て壊れてると愚痴る人は、ある意味正しい。マスター+でプレイヤー単位の試合の55%に勝つチャンピオンは、とんでもなく壊れている。Lolalyticsがマスター+の平均勝率を2.49ポイント水増ししているのは、その人たちのせいじゃない。ランクごとに変動する補正を、サイト上のすべての数字に頭の中でかけろとユーザーに求めるのは無理がある。ましてや、その補正の原因が、欠陥のある手法から生まれたデータ上のアーティファクトならなおさらだ。

3. Δ1の値が間違っている

エメラルド+の平均的なマッチアップの勝率を足すと103.5%になるのはよろしくない。ただ、これは全体的な勝率の水増しから当然導かれる結果なので、ここでは置いておく。

わかりにくいのは、勝率の水増しがΔ1にどう影響するかだ。上で見たように、Δ1は、ヤスオがゼド相手に、平均的な対戦相手と比べてどれだけ多く勝つかを表すことになっている。ゼドのすべての対戦相手のΔ1（ゼドじゃない側の視点）を平均すれば、ゼロになるはずだ。平均的な対戦相手は、ゼド相手にぴったり平均的な成績を出すんだから。ところがLolalyticsの16.17だと、+3.68ポイントになる。Δ1の計算には両チャンピオンの勝率の水増しが足し込まれる。だから、別のチャンピオンに有利を取れていると言える実際の基準は、そのティアの平均的な勝率差の2倍になる。

これは妥当じゃないと思う。普通の人は「ヤスオはゼド相手に、平均的な対戦相手より3.46%多く勝つ」と読んだら、よし、ヤスオはゼドに有利だ、と考える。いやいや、Δ1の3.46ポイントは2×1.78＝3.56ポイントよりわずかに低いから、実はヤスオはゼド相手に平均的な対戦相手より少し成績が悪いんだよ、なんて考える必要があってはいけない。あまりに直感に反するし、Lolalyticsの書き方は間違っていると言っていいと思う。

チャンピオンの勝率差（WR Delta）

ここから話がふわっとしてくる。

エメラルド+の境界付近で行われた試合は、どれも、プレイヤーの誰かが昇格・降格したあとで間違ったティアに誤分類される確率がだいたい同じだと考えるのは妥当だ。そうだとすると、各チャンピオンのもともとのピック率が、誤分類される試合の割合に影響することになる。低レートに偏ったチャンピオンほど、高ティアの試合数に対して昇格中のプレイヤーの試合が多くなる。その比率が大きいほど、勝率は水増しされるはずだ。

残念ながら検証に使える正解データはない。今ある中で一番いい指標はGame Avg WR、つまり試合に参加した10人全員のランクを平均して計算したチャンピオンの勝率だ。完璧ではないが、先読みバイアスの影響をはるかに受けにくいので、正解に近いはずだ。WR Delta、つまりLolalyticsの勝率とGame Avg WRの差を見れば、チャンピオンごとに水増しがどれくらい違うのか、そしてそれが先読みバイアスでどこまで説明できるのかを検証できる。

はっきりさせておくと、自分が見ているのは2つの代理指標の相関だ。

• プラチナシェア：プラチナの試合数とエメラルド+の試合数の比率。誤分類された試合の本当の割合の代理指標
• WR Delta：Lolalyticsの勝率からGame Avg WRを引いたもの。Game Avg WRを正解と仮定した上で、先読みバイアスがLolalyticsの勝率をどれだけ水増ししているかの代理指標

相関は驚くほど強い。Lolalyticsの勝率とGame Avg WRで差が出た試合が完全に公平なら、相関はまったくなく、わずかなサンプリングノイズが見えるだけのはずだ。どちらかの代理指標が本来の変数をうまく表せていなければ、相関は弱くなる。何か別の効果を測っている可能性もある。でも自分としては、先読みバイアスの強さがチャンピオンのもともとのピック率の分布に依存していることを正しく捉えている、というのが一番ありそうな結論だ。

WR Deltaの平均は1.77ポイントで、Lolalyticsのエメラルド+勝率51.78%と一致する。この部分はLolalytics全体の勝率の水増しと、ここまでの問題を反映している。大事なのは、ティアリストやアイテムなどの並び順には影響しないということだ。1.77ポイント一律のズレなら、ほぼ補正できる。

問題になるのは標準偏差だ。プラチナシェアに起因するSDは0.357ポイントで、Game Avg WRの全体のSDである1.264ポイントの約28%にあたり、全体の分散の約8%を占める。これが実際に何を意味するのか直感的にはつかみにくいので、もっと具体的な例を見てみよう。

トップ10のうち4体が間違っていて、無作為に選んだ2体のチャンピオンの勝率の並びが逆になっている確率は9.51%だ。平均的なチャンピオンは11.84位ほどずれていて、これはだいたいサブティア1つ分（AからA+）にあたる。致命的なものはないけど、良くもない。

もうひとつ注目すべきは、このバイアスは昇格・降格による誤分類の割合に依存しているので、毎回同じチャンピオンに影響し、試合数が増えても改善しないということだ。直近4パッチのミス・フォーチュンのWR Delta（ポイント）は2.58、2.69、2.65、2.64で、平均するとWR Deltaの平均より0.87ポイント高い。最悪のケースとして、たとえばワーウィック（+2.84ポイント）とレク＝サイ（+1.09ポイント）のどっちが強いジャングラーかを比べると、本当の結果から丸々1.75ポイントずれることになる。しかもこれは、サイトのデフォルト表示であるエメラルド+での話だ。もっと上のティア（とアイアン）は誤分類された試合の割合が高いので、データのバイアスはさらに大きくなる。

その他

データはほぼ使い切ったので、ここから先はほとんど推測だ。ここまで全部読んでくれてありがとう。

• 先ほど、Δ1は両チャンピオンの勝率の水増しで膨らんでいると書いた。これには水増しのばらつきも含まれる。自分のチャンピオンのWR Deltaはそのページの平均値をずらし、相手のWR Deltaはチャンピオン勝率と同じように並び順をかき乱す。Δ1のどこからを有利マッチアップと見なすかも変わるし、Δ1で並べた時の順位も変わるので、補正はかなり厳しい。
• Δ2はLolalyticsの正規化されたマッチアップ勝率で、Δ1と違ってちゃんと平均ゼロになる。ただ、それでも相手のWR Deltaの影響は受ける。平均すると、チャンピオンはワーウィックに有利（Δ2＝1.32）で、レク＝サイには不利（Δ2＝-1.37）なように見える。どちらも本来はゼロのはずだ。
• ランクによってピック率の分布が変わるものは何でも、チャンピオンと同じように歪む。チャンピオンのピックほど大きく変わるものはそうないと思う。でも少なくとも、イグナイトとバリアは低レートで多く使われているので、ミス・フォーチュンと同じように高レートでの勝率が水増しされるはずだ。
• 誤分類は昇格時に起き、たいてい丸3日分のデータに影響する。プレイヤーはだいたい同じチャンピオンを同じビルドで使うので、似たような試合が一気に大量に追加される。これはアイテムやルーン、スキルのようにサンプル数が少ないもの、特に上位ランクでは危険だ。たまたま連勝したプレイヤーが組んでいたビルドが、昇格後のランクで1試合もしていないのに、そのランクで最適に見えてしまうことがある。
• スマーフ（サブアカウント）は特に問題で、ほぼすべての試合が誤分類される。グランドマスターのデータを見る時に知りたいのは、グランドマスターのプレイヤーが何をビルドしていて、そのビルドがグランドマスターの試合でどう機能しているかだ。スマーフがダイヤやマスターの試合で勝ちまくっている間に、たまたま一番勝っているビルドなんて知りたくない。

結論

Lolalyticsの手法には欠陥がある。昇格するたびに、直前3日分の試合が新しいランクの試合として誤分類される。しかも昇格できた以上、その誤分類された試合は勝ち越していたはずだ。この先読みバイアスによって、サイト上のプラチナ以上の勝率はすべて間違ったものになり、カジュアルなユーザーに大きな混乱を招いている。わかっている人にとっても、補正は難しい（Δ1）。さらにバイアスにはばらつきがあり、特定のチャンピオンを一貫して他より大きく水増しするので、ティアリストや順位に意味のある影響を与えている。

反応

• Riot Phroxz0n：外部サイトがどうやってデータを作っているか、そのやり方が正しいかどうかについてはコメントしない。ただ、はっきりさせておきたいのは、自分たちがゲームのバランス調整に使っているのは社内のデータだということ。それが正解データだからね。
  

  ---

  サードパーティのサイトには、APIを通じてできる限り良いデータを提供するよう努めている。とはいえ、外部サイトのデータの見せ方は、バランスの受け止められ方に影響する。だから、コミュニティが全体として何を強すぎる、弱すぎる、ちょうどいいと思っているのかを知るために、そっちも見てはいるよ。

  • 純粋に気になるんだけど、なんで社内の勝率やピック率のデータを公開しないの？そうすれば、広告だらけのサードパーティサイトがひしめく変な生態系もなくなるのに（お前のことだぞ、OP.GG）。LoL WikiがFandomと手を切った時に、同じことはもうやってるじゃん（ほんとに助かった）。ピック率で同じことをやって、何がまずいんだ？
  •  Riot Phroxz0n：原則論で言うと、こうなる。
    

    ---

    1. データを公開することは、ゲームにとって総合的に良いことか

    ---

    ・たぶんイエスだと思う。ただし、ある程度まではね。

    ---

    ・とはいえ、悪い形もある。データが他のプレイヤーを叩く武器にされたり、メタへの同調を強制してゲームの多様性を損なったりする、現実的なリスクがあるんだ（アイバーンのミッドは勝率44%だぞ！）。

    ---

    ・その一方で、データを公開すれば、あるタイプのプレイヤーにはゲームとの別の関わり方が生まれる。セオリークラフト（理論構築）は楽しいし、新しいビルドやピックを編み出して、それをデータで裏付けられた時はなおさらだ。

    ---

    2. データが多すぎるということはあるか

    ---

    ・データをちゃんと読み解くには、高度な知識が必要になる。統計学や経済学の学位で、かなり踏み込んだ講義を受けるレベルを想像してほしい。

    ---

    ・これはゲームの外でも見られる。インフレや失業率、GDPなんかが、どれだけ下手に解釈されているかを見ればわかる。

    ---

    ・上に挙げた理由から、データを出せば出すほどLoLが良くなるわけじゃない。むしろ悪くなると思う。

    ---

    だから全体としては、ある程度のデータは良いけど、多すぎるのは良くない、というのが自分の考えだ。外部サイトの数字は、自分たちが別バージョンを出す必要を感じるほど、社内データとかけ離れてはいない。それに、そんなことをすれば、コミュニティにサービスを提供してくれている人たちの生計を一部奪うことにもなるしね。

• ダイヤモンドⅡ以上、直近30日間に設定して、勝率の差分を見れば、まともなデータになるよ。
  • OP：ダイヤモンドⅡ以上・直近30日間は、チャンピオンのビルドで何が良いかを知りたいなら最高のデータだよ。サンプル数は多いし、高レートだし、勝率の水増しが多少あっても一律なら問題ない。チャンピオン単位で見るものの大半は、一律になっているはずだ。
    

    ---

    一番の問題は、パッチが出た翌日にデータを見ようとした時だと思う。エメラルド+ならチャンピオンごとに数千試合あるから、サンプリングのノイズは十分小さい。本来なら、バフされたチャンピオンがどれだけ勝率を伸ばしたかを見られるはずなんだ。Lolalyticsはバフ・ナーフされたチャンピオンのセクションまで用意している。でも、パッチ公開の1日後にエメラルド+（デフォルト表示）で見ると、バイアスがまだ半分の強さしかないせいで、全チャンピオンが勝率を落としたように見えるんだよ。

• つまり、自分の理解が合ってるなら、OPの仮説はこういうこと？ Lolalyticsのエメラルド+の試合には、プラチナのプレイヤーの試合が含まれている。でもそれは、そのプレイヤーが勝った試合だけだ。勝ったプレイヤーはエメラルド+に昇格して、負けたプレイヤーはプラチナに残るから。
  

  ---

  ざっくり言えばね。もちろん、勝ったプラチナのプレイヤー全員が、3日以内にエメラルドに昇格するわけじゃない。でも、今エメラルドにいて、3日前にプラチナの試合をいくつかやっていたなら、その試合はかなりの確率で勝っていたはず、ってことでいい？

  • OP：そう、まさにそれ。直近3日間にプラチナのプレイヤー相手に試合をしたエメラルドのプレイヤーは、かなりの部分が、実はほとんどの試合に勝って昇格したプラチナのプレイヤーなんだ。
    

    ---

    この仕組みは逆方向にも働く。今プラチナにいるプレイヤーが、直近3日間にエメラルドの試合をたくさんやっていたなら、たぶんその試合には負けている。勝っていたら、おそらくエメラルドにいるはずだからね。

    ---

    つまり、プラチナのプレイヤーが昇格すると、プラチナでの勝ちがエメラルド+のデータに含まれる。エメラルドのプレイヤーが降格すると、エメラルドでの負けがエメラルド+のデータから外れる。どちらの効果も、エメラルド全体の勝率を押し上げることになる。本来は公平なはずの試合なのに、エメラルド+のプレイヤーがプラチナ相手に71.5%勝っているように見えるのは、そのためだよ。

• 本当なら大ニュースだな。
  • うん、本当ならLolalyticsは分析方法を見直すべきだし、でなきゃOPがもっとまともな手法のサイトを立ち上げて発表してくれよ。良いデータは大事だからな！
  • OP：実際にサイトを作るとなると、とんでもない大仕事だよ。このちょっとした書き込みだけで、もう俺はヘトヘトなんだから。念のため言っておくと、Lolalyticsのサイトは本当にすごい。踏み込んだ分析をするならLolalyticsが一番人気なのには理由があって、提供しているデータの幅広さでは、他に比べられるものがない。
    

    ---

    でも、言ってくれた通り、良いデータは大事だ。Lolalyticsが役に立つサイトだからこそ、データに偏りがあった時の問題は大きくなる。そして、偏りがあることは間違いないと思っているよ。

Source: Lolalytics Winrates Are Wrong

管理忍

パッチ直後の勝率は、パッとしないでござる。

おすすめ関連記事

統計サイト「LoLalytics」でデータの間違った見方をしている人が多いので、正しく解説する

統計サイトの正しい使い方が話題に。

lolninja.net

2024.02.09