Riverで最適なbet sizeを選択するための理論的理解

文責：しぐま (Twitter: @sigm_4)

本稿で議論すること

• Riverでどのように最適なbet sizeを選択するかについて、toy modelを通して理論的理解を深める。

• 最適なbet sizeを議論するための基礎的な模型としてhalf-street AKQJ modelを取り上げ、nut advantageを持たれているとbet sizeが有限に抑えられることを確認する。

• RiverのIPでsmall betが標準的に使われないことをfull-street AKQJ modelを通して理解する。

• 複数のbet sizeを用意するとEVが上げられるような状況を2-size half-street AKQJT modelによって理解し、riverのIPからsmall betが選択されうる実戦的状況、典型的に複数sizeを使用することが推奨されるspotについて把握する。

基礎編

おさらい：AKQ model

まずはAKQ modelをおさらいするところから始めましょう。通常、初学者向けの最も基本的なAKQ modelは、pot size 1に対してbet size 1に固定したものです。今回は、最適なbet sizeに焦点を当てるためにbet sizeを1ではなく、任意に固定した値${b}$として考えてみましょう。AKQ modelは次のようなmodelでした。

Half-street AKQ model

・OOPプレイヤー：Kを持つ。
・IPプレイヤー：AまたはQを等確率で持つ。
・OOPのプレイヤーは強制的にcheckし、IPのプレイヤーのみがbet(またはcheck)を行うことができる(= half-street)。
・相手プレイヤーのbetに対してはcallまたはfoldの選択肢があり、raiseは禁止する。
・Pot sizeは1、bet sizeを${b(>0)}$に固定する。
・OOPプレイヤーのcallまたはIPプレイヤーのcheckが生じた時点でshowdownを行い、カードのランクの大きいプレイヤーがその時点のpotを獲得する。

AKQ modelのNash均衡は、IPがAを必ずbetし、Qを${\alpha(b) = \frac{b}{1+b}}$の頻度でbet、${1-\alpha(b)}$の頻度でcheckするというものです。このbetに対してOOPは、Kを${1-\alpha(b)}$の頻度でcallし、${\alpha(b)}$の頻度でfoldします。これを図示すると図1のようになります。

些細な註：通常、pot betのみを許すAKQ modelはOOPもIPもbet権を持つfull-streetとして導入されることが多いかと思います。その場合、Kを持つOOPは単にcheckするだけなので、half-streetの場合とあまり違いはありません。今回あえてhalf-streetとして書いているのは、bet sizeを任意の値${b}$として設定しているためです。実は、(raiseを禁止する限りは)${b}$が小さい場合にOOPが必ずbetするというNash均衡ができてしまうのです。興味のある方は考えてみてください。

図1のNash均衡において、OOPとIPのEVはそれぞれ、

$$ \begin{align*} \mathrm{EV}_{\mathrm{OOP}}(b) &= \frac{1}{2}(1-\alpha(b)) \quad\quad (1) \\ \mathrm{EV}_{\mathrm{IP}}(b) &= \frac{1}{2}(1+\alpha(b)) \quad\quad (2) \end{align*} $$

のように得られます。これは次のように簡単に理解できます。IPはbetした時にOOPのEVを0にできる(Kをcall or foldのindifferentにする)ので、IPは(pot size)×(bet頻度)に等しいEVが得られます。裏を返すと、OOPはIPからbetを受けるとEVを0にされてしまうので、IPがcheck backしてくれる頻度分だけEVを得られるという形です。

では、このAKQ modelにおいてIPはどのようなbet sizeを用いることが最適でしょうか？答えは簡単で、可能な限り大きなbet sizeを使うことが最適になります。形式的には${\mathrm{EV}_{\mathrm{IP}}(b)}$を最大にするような${b}$を求めれば良いことになります。式(2)を見ると、${\mathrm{EV}_{\mathrm{IP}}(b)}$は${b}$の増加関数なので、${b}$を大きくすればするほどIPはEVを上げられるというわけです。

別に数式に頼る必要はなく、次のように直観的に理解できます。先ほど述べた通り、IPのEVはbet頻度のみで決まります。Bet頻度を高くすればするほどEVは高くなり、かつAは必ずbetすることを考えると、とにかくbluff頻度を上げればよいことになります。そして、bluff頻度を上げるにはbet sizeを上げればよいというわけです。

Modelの定義にはstack (SPR)の概念は入れませんでしたが、もし有限のstackがあればall inが最適なbet sizeになります。標語的にまとめるならば、「完全にpolarizeしたbet rangeについては、bet sizeをできるだけ大きくしたい」となります。

最適bet sizeを議論するための基礎的な模型：half-street AKQJ model

さて、AKQ modelでは最適bet sizeとしてall inが選択されるという結果になっていました。「Polarizeしたbet rangeを持つならall in」という結論はどの程度robustなのでしょうか？そこで、次のようなAKQJ modelを考えてみましょう。

Half-street AKQJ model

・OOPプレイヤー：AまたはQをそれぞれ${p}$と${1-p}$の割合で持つ。ただし、${0 \leq p \leq 1}$とする。
・IPプレイヤー：KまたはJを等確率で持つ。
・OOPのプレイヤーは強制的にcheckし、IPのプレイヤーのみがbet(またはcheck)を行うことができる(= half-street)。
・相手プレイヤーのbetに対してはcallまたはfoldの選択肢があり、raiseは禁止する。
・Pot sizeは1、bet sizeを${b(>0)}$に固定する。
・OOPプレイヤーのcallまたはIPプレイヤーのcheckが生じた時点でshowdownを行い、カードのランクの大きいプレイヤーがその時点のpotを獲得する。

このmodelはパラメータ${p}$でOOPのrangeが調整できます。${p=0}$の時はAKQ modelと等価で、このAKQJ modelはAKQ modelの自然な拡張となっていることがわかります。また、ここでもbet sizeは任意の値${b}$に固定したhalf-street gameを考えます。

このmodelのNash均衡はどうなるでしょうか？まず極端な場合として${p=0}$では、先ほど述べた通りAKQ modelと等価で、KまたはJを持つIPはbet戦略を採ることになります。逆の極限の${p=1}$の場合は、OOPがAのみを持つわけなので、IPは為す術なくrange checkをするしかありません。つまり、このmodelでは${p}$が小さければIPはKとJでQを挟み込むようにbetができて、${p}$が大きくなるとAに放銃する可能性が上がるためにbetができなくなるというように切り替わります。

より具体的には${p}$と${b}$の関係によってNash均衡が変化しますが、ここでは${p}$が小さい側に注目してみましょう。${p}$が十分小さければ、IPはKを必ずbetし、Jは${\alpha(b)}$の割合でbet、${1-\alpha(b)}$の割合でcheckすることになります。このbetに対して、OOPはAを必ずcall、Qを${1-\frac{\alpha}{1-p}}$の割合でcall、${\frac{\alpha}{1-p}}$の割合でfoldします。図2にこれを図示しています。

この時のOOPとIPのEVはそれぞれ

$$ \begin{align*} \mathrm{EV}_{\mathrm{OOP}}(b) &= 1-\frac{1}{2}(1+\alpha(b))(1-(1+b)p) \quad\quad (3) \\ \mathrm{EV}_{\mathrm{IP}}(b) &= \frac{1}{2}(1+\alpha(b))(1-(1+b)p) \quad\quad (4) \end{align*} $$

と書けます。式(4)は簡単に導けます。IPはcheckした場合にはEVを獲得できないので、EVを獲得できるのはbetした時だけです。IPがbetした場合には、OOPがQを持つ時にはEVを0にできる(＝IPがpot 1を獲得できる)のでbet頻度${\frac{1}{2}(1+\alpha)}$に等しいEVを得られます。一方、OOPがAを持つ時にはbet額${b}$を放銃してしまいます。OOPがQとAをそれぞれ持つ確率を掛けて足し合わせれば式(4)を得ます。

それでは、IPのEVを最大化するようなbet sizeはどのようになるでしょうか？AKQ modelのようにbet sizeを上げてbet頻度を上げたいですが、同時にAへの放銃額も大きくなるため、どこまででもbet sizeを上げれば良いということにはならなそうです。そして実際、最適なbet sizeは有限の値になります。導出は割愛しますが、

$$ \begin{align*} b = \frac{1-\sqrt{2p}}{\sqrt{2p}} \quad\quad (5) \end{align*} $$

のbet sizeがEVを最大化します。具体的な値はここではあまり重要ではありませんが、重要な事実として、KJ側は相手に自分のvalue handよりも強いhandを持たれていると際限なくbet sizeを大きくすることが最適ではなくなるということです。このmodelの形を基礎として応用編に進みましょう。

応用編

応用編としてriverに関する2つのトピックを扱います。1つ目はGTO戦略でriverのIPから小さいbet sizeが選択されない理由について、2つ目は複数のbet sizeを用いることがEVを高める場合について議論します。

RiverのIPでsmall betが用いられない理由：full-street AKQJ model

RiverのIPで小さいbet sizeを使用することが「標準的」ではないという指摘を耳にしたことがある方も多いかと思います。実際、GTO戦略上riverのspotでIPから10%〜40%のようなbet sizeが用いられることは滅多にありません。いくつか具体例を眺めてみましょう。

図3〜6は、BTN vs. BB SRPのAs8h4d-Jd-6cにおける異なる4つのプレイラインについて、BTNのriverでの局所戦略を示しています。以下では、特に断りがなければsolutionはGTO Wizard, 6max Cash, 100bb, NL50, 2.5x-GTOに拠ります。図3はxx-xx-x?、図4はxb 33%c-xx-x?、図5はxx-xb 75%c-x?、図6はxx-b 75%c-x?に対応します。

どの場合を見ても小さいbet sizeが(ほとんど)使われていないことがわかります。少なくともこの4パターンを見る限り、(十分に)頻度のあるbet sizeは51%が最小のようです。EQ graphを見ると、辿ってきたプレイラインによってEQの分布が大きく異なるにもかかわらず、IPは頑なに小さいbet sizeを使わず、51%から682%のall inまでのsizeのみを採用しています。

なぜこのようなことが起きるのでしょうか？Universalな事象であれば簡単なmodelから理解できるはずです。

River突入時には大きく分けて次の2つのパターンが考えられます。
(1) IPがnut advantageを有している場合
(2) OOPがnut advantageを有している場合

(1)をmodel的に抽象化すると、OOPがKまたはJ、IPがAまたはQを持っているような状況です。この場合にはOOPのcheckに対して、IPはAとQでKを挟み込んでbetすることになりますが、これはまさしくAKQ modelと同様にbet sizeを上げれば上げるほどEVが獲得できる状況になっています。

註：IPがAを一定以上の割合で所持していると、OOPはcheckせざるを得なくなります。そのcheckに対して、IPはAとQでall inをするという形です。IPのAの割合が小さい場合にはOOPのKJ側がbet、それに対してAQ側がraiseというような均衡になります。OOP側はbetにKを全て使ってしまうので、OOPのcheckに対してIPは「無意味な」(indifferent対象のいない脅しの)bet rangeを組むという形になります。

図5のxx-xb 75%c-x?のケースのように、turnでBTNがbetしてpolarizeしたrangeを持ってriverに突入する場合が(1)の典型例になっています。実際に図5を見ると682% all inのような巨大なbet sizeまで使用されていることがわかります。

(2)の場合はどうでしょうか？基礎編のhalf-street AKQJ modelで見たように、OOPがnut advantageを持っている場合にはIPはbet sizeを大きくできないという制約が生まれるはずです。直観的には小さいsizeが許容されても良さそうに思えます。このことを確かめるために具体的にmodel化してみましょう。OOPがAまたはQ、IPがKまたはJを持つfull-street AKQJ modelが素朴なmodelになるでしょう。

Full-street AKQJ model

・OOPプレイヤー：AまたはQを等確率で持つ。
・IPプレイヤー：KまたはJを等確率で持つ。
・OOPのプレイヤーは先にbet(またはcheck)を行うことができ、checkした場合にはIPのプレイヤーもbet(またはcheck)を行うことができる(= full-street)。
・相手プレイヤーのbet(またはraise)に対してはfold、call、raiseが選択できる。
・Pot sizeは1、stackを${S}$、bet sizeとraise sizeは任意のsizeが選択できる。
・いずれかのプレイヤーのbetにもう一方のプレイヤーがcallした場合と、お互いがcheckした場合はshowdownを行い、カードのランクの大きいプレイヤーがその時点のpotを獲得する。

今回のmodelはより現実のポーカーに近づけてraiseが可能、bet sizeとraise sizeは任意sizeが選択できるものとしてNash均衡を求めます。

註：固定したbet (raise) sizeを用いているのではなく、任意のbet (raise) sizeが許されるgameとしてmodelを定義しています。

OOPの最適なbet sizeとraise sizeはいずれもall inであることに留意して、IPのbet sizeを${b}$と置いてNash均衡を図7のように仮定します。OOPのAのbet頻度を${x}$、OOPのbetに対するIPのKのcall頻度を${y}$、OOPのcheck後のIPのKのbet頻度を${z}$と置きます。

この下で各actionがindifferentになるように方程式を立てます。以下では次のように定義するアルファを用います。

$$ \begin{align*} \alpha(S) &= \frac{S}{1+S}, \quad\quad (6) \\ \alpha(b) &= \frac{b}{1+b}, \quad\quad (7) \\ \alpha_{\mathrm{raise}}(S, b) &= \frac{\alpha(S)-\alpha(b)}{1-\alpha(S)\alpha(b)}. \quad\quad (8) \end{align*} $$

式(6)はOOPのall inに関するアルファ、式(7)はIPのbetに関するアルファ、式(8)はIPのbetに対するOOPのall-in raiseに関するアルファです。

計算はbet sizeの最適化の議論に必要な最小限の部分のみ取り上げます。それ以外の詳細については後述します。まず、IPのKのbetとcheckのEVが等しいことから、

$$ \begin{align*} x = \frac{(1+\alpha(b))\alpha_{\mathrm{raise}}(S, b) + 2\alpha^2(b)}{(1+\alpha(b))\alpha_{\mathrm{raise}}(S, b) + \alpha(b)(1-\alpha(S)+(1+\alpha(S))\alpha(b))} \quad\quad (9) \end{align*} $$

を得ます。

次に両プレイヤーの獲得するEVを求めます。IPはOOPがcheckした後にのみEVを得ることができ、KもJもbet or checkのindifferentであることを利用すれば、

$$ \begin{align*} \mathrm{EV}_{\mathrm{OOP}} &= 1-\frac{1-\alpha_S x}{4}, \quad\quad (10) \\ \mathrm{EV}_{\mathrm{IP}} &= \frac{1-\alpha_S x}{4} \quad\quad (11) \end{align*} $$

が導かれます。${\mathrm{EV}_{\mathrm{IP}}}$は${x}$に関して単調減少なため、${x}$を最小にするようにbet size ${b}$を設定すればそれがこのgameのNash均衡を作ります。

具体的な計算は割愛しますが、${x}$を${\alpha(b)}$で微分して極小値を与えるbet size ${b^*}$を求めると、

$$ \begin{align*} \alpha(b^*) &= \frac{1}{1+2\alpha(S)}, \quad\quad (12) \\ b^* &= \frac{1+S}{2S} \quad\quad (13) \end{align*} $$

を得ます。

${b^*}$はSPR ${S}$に関して減少関数で、

$$ \begin{align*} b^* > \frac{1}{2} \quad\quad (14) \end{align*} $$

が成り立ちます。つまり、river突入時にOOPがnut advantageを持っていてIPがbet sizeを下げうる要因がある場合でも、IPの最適bet sizeがpot 50%を下回らないことを示唆しています。

註：後述の通り、${S \geq 1}$ではこのbet size ${b^*}$によるNash均衡が成立します。また、${S \leq 1}$ではIPの最適bet sizeはall inになります。

IPが${b^*}$のbet sizeを用いる場合のNash均衡の構造を噛み砕いて説明すると次のようになります。まず、OOPはAとQを活かしてKを挟み込むall inを行いたいと思っています。しかし、Aを使い切ってしまうと今度はIPからKとJでQを挟み込むbetを受けてしまいます。Aが全く残っていなければこのIPのbetはall inが最適になり、損失が大きくなります。これを防ぐためにOOPはAの一部を適切にcheckに残してIPのbetに対抗しようとします。一方で、OOPはcheckにAを残しすぎると本来all inしたら得られていたであろうEVを損なうことになるので、「適度に」checkとbetを混ぜる必要があります。この「適度」は、IPのKがbet or checkのindifferentになるように調整されます。

基礎編で見たように、OOPがcheckした後のIPはnut advantageがないためにbet sizeを無限には大きくできず、適切な有限bet sizeを選ぶことになります。もしIPのbet sizeが大きすぎると、OOPはAを全てcheckに残すようにexploit可能で、逆にIPのbet sizeが小さすぎると、OOPはAをall inに全て使い切るようなexploitが可能になってしまいます。このような拮抗が生じた結果としてpot 50%付近(以上)のbet sizeが選択されるという形に落ち着くというわけです。

実戦のspotに戻りましょう。図3や図4のようにBTNがturnでcheck backしてhigh-EQのhandを放棄した場合や、図6のようにBBがturnでprobe betを打ってpolarizeした場合には、river突入時にOOPがnut advantageを持つ(2)のケースに該当します。この場合には、上記の議論からriverのOOP checkを受けるとIPは50%より大きなbet sizeを選択するという流れになります。

以上から、OOPがnut advantageを持っている時も持っていない時も、IPはbet sizeが小さくなりすぎることはないということがわかります。

######

以下では、Nash均衡の確認を行いますが、細かい議論になるので計算の詳細が気になる方以外は読み飛ばして構いません。

OOPのQのbetとcheckのEVが等しいことから、

$$ \begin{align*} y = (1-\alpha(S))(1+\alpha(b)z), \quad\quad (15) \end{align*} $$

OOPのAのbetとcheckのEVが等しいことから、

$$ \begin{align*} y = \frac{1+\alpha(b)}{1+\alpha_{\mathrm{raise}}(S,b)}z, \quad\quad (16) \end{align*} $$

が導けます。すると式(15)と(16)から、

$$ \begin{align*} y &= \frac{1-\alpha^2(S)}{1+\alpha^2(S)}, \quad\quad (17) \\ z &= \frac{\alpha(S)(1-\alpha(S))(1+2\alpha(S))}{1+\alpha^2(S)} \quad\quad (18) \end{align*} $$

が得られます。また、式(9)と(12)を用いると、

$$ \begin{align*} x = 1-\frac{1-\alpha(S)}{\alpha(S)(3+4\alpha(S))} \quad\quad (19) \end{align*} $$

となります。したがって、恒等的に${0 < x, y, z < 1}$が成立します。

IPの最適bet size ${b^*}$に関して${b^*\leq S}$を解くと、

$$ \begin{align*} S \geq 1 \quad\quad (20) \end{align*} $$

を得ます。

OOPのQのx/c頻度とx/f頻度を計算すると、それぞれ${\frac{4\alpha(S)(1-\alpha(S))}{3+4\alpha(S)}}$と${\frac{(1-\alpha(S))(1+2\alpha(S))}{\alpha(S)(3+4\alpha(S))}}$で、これらはSPR 1以上で常に0から1の間の値を取り、仮定したNash均衡が成立します。

したがって、SPRが1以上の場合にはIPはbet sizeとして${b^* (\leq S)}$を選択し、SPRが1未満の場合にはall inを行います。

複数のbet sizeを用いると有効な場合：2-size half-street AKQJT model

応用編の2つ目として、複数bet sizeを用いると有効な場面をmodelから考えてみましょう。よく見るtoy modelは基本的に、固定された1つのbet sizeか、応用編の1つ目のように任意の1 sizeが許されているものです。今回は、2種類の可変なbet sizeを用意できるmodelを見てみましょう。これによりどのような場面でbet sizeを増やすことでEVが高められるのか調べてみます。

Full-streetのmodelで2つのsizeを考えるのは難しすぎるので、half-streetで考えてみましょう。まず最小のrange構成のAKQ modelでは、AQ側はbet sizeを大きくすれば良いので、bet sizeの選択肢を増やしても意味がありません。AKQJ modelはというと、AQ側もKJ側も最適なbet sizeというものが存在しているために、やはりbet sizeの選択肢を増やしたところでEVが変わることはありません。ではさらにcardを1枚増やして、一方がA, Q, T、もう一方がK, Jを持つようなAKQJT modelはどうでしょうか？

2-size half-street AKQJT model

・OOPプレイヤー：KまたはJをそれぞれ${p}$と${1-p}$の割合で持つ。ただし、${0<p<1}$とする。
・IPプレイヤー：A、QまたはTをそれぞれ確率${\frac{1}{4}, \frac{1}{4}, \frac{1}{2}}$で持つ。
・OOPのプレイヤーは強制的にcheckし、IPのプレイヤーのみがbet(またはcheck)を行うことができる(= half-street)。
・相手プレイヤーのbetに対してはfold、call、all-in raiseが選択できる。
・Pot sizeは1、stackを${S}$、bet sizeは任意の2種類${b_1, b_2}$が選択できる(${b_1 \geq b_2 > 0}$)。
・いずれかのプレイヤーのcallまたはIPプレイヤーのcheckが生じた時点でshowdownを行い、カードのランクの大きいプレイヤーがその時点のpotを獲得する。

註：問題を簡単にするためにraise sizeはall inに限定しています。また、場合分けによる複雑化を防ぐために、IPの持つTの量をAとQの倍にしています。

AとTによるbet size ${b_1}$のbetは自明にall inが最適です。そこで、このgameのNash均衡を図8のように仮定します。IPのAについてbet size ${S}$のbet (all in)頻度を${x}$、bet size ${b_2}$のbetを受けた時のOOPのKのcall頻度を${y}$と置きます。

IPはAとTを使ってIPのKとJを挟み込むようにbet (all in)を行う部分は自然です。IPのQはOOPのKの割合が多ければcheckが良さそうですが、Kがある程度少なければQとTでJを挟み込むようにbetすることができそうです。OOPはIPのbetに対してraiseできるので、そのraiseを余分に利益的にさせないためにQのthin-value bet rangeにAを入れてtrap rangeを作っておきます。

今回も議論に必要な最小限の部分だけ解きましょう。まず、OOPのKのraiseとcallのEVが等しいことから、

$$ \begin{align*} x = \frac{2\alpha_{\mathrm{raise}}(S,b_2)}{1+\alpha_{\mathrm{raise}}(S,b_2)} \quad\quad (21) \end{align*} $$

が得られます。OOPのEVの発生源は、IPがcheckした場合にOOPが必ずpotを獲得できること、IPが${b_2}$のsizeでbetしてきた時にKを持っている場合であることに注意すれば、

$$ \begin{align*} \mathrm{EV}_{\mathrm{OOP}} = \frac{1}{4}(2+p-2\alpha(b_2)(1-p(1+b_2))-(\alpha(S)-\alpha(b_2))x) \quad\quad (22) \end{align*} $$

が導けます。式(21)を式(22)に代入して${\alpha(b_2)}$に関して微分することでOOPのEVが極小値をとるようなbet size ${b_2=b^*}$が求まります。計算の詳細は割愛して結果のみ述べると、

$$ \begin{align*} \alpha(b^*) &= 1 - \sqrt{3 - \alpha(S) - \frac{1+\alpha(S)}{\alpha(S)}(1-p)}, \quad\quad (23) \\ b^* &= \frac{1-\sqrt{3 - \alpha(S) - \frac{1+\alpha(S)}{\alpha(S)}(1-p)}}{\sqrt{3 - \alpha(S) - \frac{1+\alpha(S)}{\alpha(S)}(1-p)}} \quad\quad (24) \end{align*} $$

を得ます。

詳細は後ほど補足として記載しますが、この極値がそのままEV最小の点になるかについては条件があり、

$$ \begin{align*} (1-\alpha(S))^2 \leq p < \frac{\alpha(S)}{2} - \frac{(1-\alpha(S))-\alpha(S)\sqrt{2(1-\alpha(S))}}{1+\alpha(S)} \quad\quad (25) \end{align*} $$

の場合に${b_2=b^*}$の上記の戦略がNash均衡を構成します。

SPRが十分大きければ、下限は0に近づき、上限は1/2に近づいていきます。具体的に${S=10}$で${p}$を振ってIPの最適なbet sizeの振る舞いを見てみましょう。図9には${b^*}$を${p}$の関数としてプロットしています。縦の点線は式(25)に対応した${p}$の上限と下限を表します。

式(25)の範囲では最適なbet sizeとして${b^*}$が${p}$に従って変化します。OOPのKの割合が増えていくと、IPのQの最適なbet sizeがだんだん小さくなり、いずれは0になる(check EVの方が高くなる)という形です。これは、基礎編でAKQJのKJ側の最適bet sizeの時と同じ構造になっています。

ここまでをまとめると、式(25)を満たす範囲では(≒ OOPのKの割合がある程度小さくてSPRもある程度大きい状況なら)、AQT側は大小の2種類のbet sizeを使うことが有益になるということです。AとTで大きなsize (all in)によってOOPのKとJを挟み込み、Aの一部をtrapに混ぜた上でQをメインのvalue handとしてJをいじめる構図です。実際に2つの異なるsizeを使用した方が1 sizeのみ使用する場合よりもEVが高くなることを見ましょう。2つのsizeを使用できる今回のmodelでのIPのEVは、式(22)に式(23)-(24)を用いて整理すると、

$$ \begin{align*} \mathrm{EV}_{\mathrm{IP}}^{(2)} = \frac{2-p+\alpha(S)}{4} + \frac{\alpha(S)}{4(1+\alpha(S))}(2\alpha^2(b^*)-(1-\alpha(S))) \quad\quad (26) \end{align*} $$

となります。なお、2-sizeの戦略であることを明記して(2)を肩に乗せています。これに対して、1種類のみの最適bet sizeを用いるNash均衡におけるEVを比較します。OOPのKの割合が大きければ、IPはAとTのみでbetしてQはcheckするはずです。この時の最適bet sizeはall inで、IPのEVは、

$$ \begin{align*} \mathrm{EV}_{\mathrm{IP}}^{(1)} = \frac{2-p+\alpha(S)}{4} \quad\quad (27) \end{align*} $$

と書けます。OOPのKの割合が小さければ、IPはQもvalue handとしてbetした方が得になります。簡単な計算をすると、最適なbet sizeは、

$$ \begin{align*} b = \begin{cases} \frac{1-\sqrt{p}}{\sqrt{p}} & \text{if}\quad p \geq (1-\alpha(S))^2 \\ S & \text{if}\quad p \leq (1-\alpha(S))^2 \end{cases} \quad\quad (28) \end{align*} $$

とわかります。対応して、このNash均衡でのIPのEVは、

$$ \begin{align*} \mathrm{EV}_{\mathrm{IP}}^{(1')} = \begin{cases} (1-\frac{\sqrt{p}}{2})^2 & \text{if}\quad p \geq (1-\alpha(S))^2 \\ \frac{1+\alpha(S)}{4}(2-\frac{p}{1-\alpha(S)}) & \text{if}\quad p \leq (1-\alpha(S))^2 \end{cases} \quad\quad (29) \end{align*} $$

と得られます。式(26)、(27)、(29)を${S=10}$の場合に関してプロットすると図10のようになります。青線、黄色線、緑線はそれぞれ、2種類のsizeを用いた場合のIPのEV(式(26))、${p}$が大きい場合に1種類のsizeを用いた場合のIPのEV(式(27))、${p}$が小さい場合に1種類のsizeを用いた場合のIPのEV(式(27))の振る舞いを描いています。また、縦の点線は式(25)の条件の上端と下端を表します。式(25)を満たす${p}$の範囲内で、IPは1-sizeの戦略よりも2-sizeの戦略を採る方がEVを高められることがわかります。

さて、再び最適なbet sizeに話を戻しましょう。2種類のsizeを使うことを許すと、Qによるthin value betが安いbet sizeによって形成されていたのでした。図9を見ると、${p}$がある程度大きければ(少なくとも${S=10}$の場合では)このbet sizeはかなり小さくなり得ます。例えば、境界付近の${p\simeq 0.3}$では${b^*\simeq 0.27}$となります。前節では、IPの最適bet sizeは50%よりも大きくなるということを議論しましたが、riverのIPのaction決定時にこのhalf-street AKQJT modelのような状況を迎えれば、複数sizeを許すNash均衡において小さいbet sizeを使う頻度がありうるということを示しています。

では、実際にそのような状況は起こり得るのでしょうか？次のspotを見てみましょう。図11はBTN vs. BB SRPでAsJh8d-7h-2hのboardにおいて、xx-xb 50%c-x?と進んだ局面です。この時、IPのメインのbet sizeは59%と132%ですが、わずかに27%という小さいsizeの選択肢があります。Range全体から見たbet頻度は非常に小さいため、一見計算の誤差か最適なbet sizeがgame treeにないために生じたartifactのようにも思えますが、そうではないはずです。というのも、Ahを持つA9oはpureにこのbet sizeを選択していて、次にEVの高いactionであるcheckと0.08程度のEV差があります(このinfosetにおける誤差は典型的には0.02程度です)。また、b 27%でフィルターをかけて表示すると[図12]、Ah9x以外にもAh3hやAh9hといったflushをtrap rangeに、bluffとして一部のK-highやQ-high(K9oなど)を採用していることがわかります。これはAKQJT modelのQをvalue handのメインに据えて、一部のAをtrapする構図によく似ています。

RiverのIPにこのような小さいbet sizeの選択肢が生まれる条件がどのようなものか、AKQJT modelを元に考えてみましょう。まず、Qがbet可能であるためには、indifferentにする対象のJに相当するhandがOOPのrangeに多く存在している必要があります。さらに、OOPのKの割合が大きすぎるとQはbetできなくなってしまうので、Kはある一定以上は少なくある必要があります。この基準は${S=10}$の場合のAKQJT modelによればおよそ${p\lesssim 0.3}$です。逆にOOPのKの割合が小さすぎると、今度はQの最適なbet sizeが上がってしまうので、小さいsizeは選択されなくなってしまいます。つまり、OOPがriverのbetにKを消費してしまうとこれが実現しなくなります。IPのAの割合が少ないとこれが起こってしまうため、river突入時のIPにAの量が十分あることも重要です。以上をまとめると、river突入時にIPがtop range (＝A)をそこそこ持っていてOOPがvalue hand (＝K)を消化できずにcheckして、かつIPがthin value handを打つための対象(＝J)がOOPに存在しているような状況です。先ほどのspotのように、turnでIPがdelayed CBを打ってpolarizeした状況から、riverでflush完成boardになってOOPにhigh-EQ handが補充される状況ではこの条件を満たせる可能性があるというわけです。RiverでOOPのtop rangeを相当補充してしまうようなcard(例えばJsなど)が落ちると、IPはthin value betを打てなくなってしまいますし、OOPのhigh-EQ handを増やさないようなrag(例えば2s)が落ちてしまうと、IPはthin value handのbet sizeを大きくできてしまいます。IPから小さいbet sizeのthin value betがあり得るかは結構シビアです。

今回はmodelがhalf-streetということもあり、特にriverのIPからのbet sizeに注目しました。しかし、2-sizeのAKQJT modelで見られたようなvalue handの強さに応じて大小の異なるbet sizeを用いる局所戦略は、riverのOOPでも発生します。特に典型的なのはxx-xx-?のinfosetで、OOPとIPのEQの分布が近接している場面です。ここでOOPは大きいbet sizeから小さいbet sizeまで幅広く使用してEVを高めることができます。Modelとしては、よく知られた[0, 1] modelがこれをよく記述します。OOPの基本的なbet戦略はAKQJT modelの時と同様で、handの強さに応じてbet sizeを使い分けつつ、非常に強いhand群はtrap rangeとして大きなsizeだけでなく中くらいのsizeや小さいsizeにも混ぜます。

例えば、図13のようにBTN vs. BB SRPでJs9h4s-7c-Kdのboardにおいてxx-xx-?と進んだ局面では、OOPから155%, 73%, 36%と大中小の全てのbet sizeが使われています。155%には主にtwo pair、73%には主にtop pairとsecond pair、36%には主にthird pairがメインのvalue handとして採用されています。Two pair+の非常に強いhand群については大sizeのみではなく中sizeと小sizeにも頻度が作られており、trap rangeを構成します。また、straightやsetといったnuttish handの多くはcheckに回ってtrapされることにも注目しましょう。

ここからBBがcheckした場合のBTNの局所戦略を見てみると[図14]、BTNにb 36%という小さいbet sizeの選択肢が出ていることがわかります。ただし、こちらのbet sizeは必ずしもrobustな結果とは言えない可能性があり、注意が必要です。実際、図15に示すようにriverのbet sizeの選択肢を33%, 51%, 75%, …のようにより細かく用意すると(詳細は註)、元々b 36%を選択していたhandはb 51%を代わりに使用するようになり、b 33%の頻度は激減します。つまり、50%付近の本来欲しいbet sizeがデフォルトのgame treeに存在していなかったために生じたartifactである可能性があります。

GTO Wizardのsolutionでxx-xx-x?のinfosetを見ると、50%未満の小さいbet sizeが割と頻繁に使用されています。GTO Wizardの100bb持ちのSRPにおいては、xx-xx-x?でのIPのbet sizeに50%付近のsizeがデフォルトで存在していないため、このように本質的であるとは限らない小さいbet sizeに頻度が集中することがあります。「この場面ではこういうbet sizeが良い」というのを覚えるような営みを行いたい場合には注意が必要です。

註：図15は正確には次のように作成した図になっています。まず、flop/turnでは33%, 50%, 125%, 175%, 250%、riverでは33%, 75%, 125%, 175%, all inでbet sizeを指定して一度solutionを作成します(これをsolution Aとします)。次に、このturnとriver cardに関してxx-xx-xに至るまでの全ての局所戦略をsolution Aに含まれる局所戦略にnodelockします。ここで、xx-xx-x?のinfosetにおけるbet sizeに51%を追加して改めてsolutionを得ます(これをsolution B)とします。このsolution Bに含まれる、xx-xx-x?におけるBTNの局所戦略が図15です。つまり、riverのxx-xx-x?のinfosetで同じBTNのrangeを使用して異なるbet sizeの組を持つ2つの部分gameに関してsolutionを比較しているということです。Solution Aではこの局所戦略にb 33%の頻度が6-7%程度存在しますが、solution Bではb 33%の頻度は0.7%まで落ちます。

######

以下にAKQJT modelのNash均衡の詳細および、最適bet size ${b^*}$によるNash均衡が式(25)の条件を満たす場合に存在していることを確かめる計算を掲載します。詳細をフォローしたい方はご覧ください。

まず、図8のように仮定したNash均衡における各actionの頻度を求めておきます。IPのAが${b_1=S}$のsizeと${b_2}$のsizeとでbetするEVが等しいことから、

$$ \begin{align*} y = \frac{1}{p}\cdot\frac{1-\alpha(S)}{1+\alpha(S)}(1-\alpha(S)\alpha(b_2)) \quad\quad (30) \end{align*} $$

が導けます。

次に式(25)の導出を行います。IPのEVを${b_2}$の関数として見ると、${b_2= b^*}$で極大点となっていることを前に述べました。この極大点がIPのEVを最大化するためには、${0 < b^* \leq S}$となっていることが必要です。式(24)を用いてこれを${p}$について解くと、

$$ \begin{align*} (1-\alpha(S))^2 \leq p < \frac{1-\alpha(S)+\alpha^2(S)}{1+\alpha(S)} \quad\quad (31) \end{align*} $$

が得られます。この条件は、式(25)とは${b^*\leq S}$から導かれる右辺が異なります。追加で考慮すべき点として、IPのQがpure betになることを仮定していたため、bet EVがcheck EVよりも高いことを条件として課す必要があります。これを式で表現すると、

$$ \begin{align*} 1-p = p(1-y)\cdot(-b_2) + py(1+\alpha_{\mathrm{raise}}(S,b_2))\cdot(-b_2) + (1-p-\alpha(b_2)-py\alpha_{\mathrm{raise}}(S,b_2))\cdot(1+b_2) + \alpha(S)\cdot 1 \quad\quad (32) \end{align*} $$

となります。式(30)を用いて整理すると、

$$ \begin{align*} \alpha^2(b_2) \geq \frac{1}{2}(1-\alpha(S)) \quad\quad (33) \end{align*} $$

が得られます。${b_2=b^*}$としてさらに整理すると式(25)の右辺が出てきます。また、この条件はIPの2-size戦略と1-size戦略のEVが入れ替わる条件としても得られます。

まとめ

本稿では、riverで最適なbet sizeを選択できるようになるための基礎としてtoy modelの理解を進め、実際のポーカーとの接点を議論してきました。出発点としてのAKQ modelからは、完全にpolarizeしたAQ側は最適なbet sizeが無限大になることを確認しました。重要な基礎として、AKQJ modelにおいてKJ側は相手にnut advantageを持たれていることによって最適なbet sizeが有限に抑えられることがわかりました。

ここから応用編として、full-street AKQJ modelと2-size half-street AKQJT modelの2つを議論しました。まず、1つ目のfull-street AKQJ model (OOP: AQ / IP: KJ)からは、(OOPがnut advantageを持って突入した)riverにおいてIPがsmall betを使用しない理由が明らかになりました。OOPはAを「適度に」checkに残してtrapし、それによってIPのbet sizeが「適度に」なるという構造がありました。IPがbet sizeを小さくしすぎると、OOPはcheck rangeを保護する必要がなくなってしまうという力学によってIPのbet sizeはpot 50%という下限が生じていたのでした。

2つ目のAKQJT modelからは、bet sizeを1つではなく複数持つことによってEVを上げられる状況を議論しました。AQT側は一定の条件のもとQのthin value betが有効になり、そのbet sizeはAの使いたいbet sizeと異なるというような仕組みでした。この構造自体は随所に見られ、一例として互いのEQ分布が近接しているriverのOOPを確認しました。IPのriverにおける最適bet sizeという観点からは、複数sizeの存在によって小さいsizeも許容される状況があり得ることも指摘し、実際にxx-xbc-x?のようなdelayed CBをしてriverに進んだ状況の一部で30%付近のbet sizeが使用される状況があることを確認しました。

最後に重要な補足をします。今回の「最適なbet sizeを選択する」というのは、あくまでGTO戦略における最適はどうなるかという視点に立つものです。Exploit的な観点では、「最適」の意味は変わってきます。RiverでIPから小さいbet sizeを選択することが利益的となることはもちろんありますし、nuttish handをtrapする必要がないことももちろんあります。実戦では、取りうるactionのうちどれが最も利益的なのかを相手の(推定)戦略に従って決めることが最重要です。