石取りゲームAI

勝った手を増やし、負けた手を減らすだけで、AIは強くなります。紙コップとおはじきでできた「学習するAI」と実際に対戦して、強化学習のしくみを確かめてみましょう。

まずは1ゲーム見てみましょう

再生ボタンで自動的に進みます

石は7個。AIが先手です。残り 7 個

最後の1個を取った方が負けです。再生ボタンを押すと、AIとあなたが交互に石を取る1ゲーム分が動きます。

ゲームのルール

石は7個から始まります。AIとあなたが交互に、山から 1個・2個・3個 のどれかを取ります。

最後の1個を取った方が負けです。AIがいつも先手です。

石は減る一方なので、ゲームは必ず終わります。取る数を選ぶことだけが作戦になります。

AIの中身は「透明なコップ」です

残り7

引いたおはじき

赤＝石を1個取る

青＝石を2個取る

黄＝石を3個取る

緑＝石そのもの

AIの手番になったら、山に残っている石の数を数えます。その数字のコップから、中を見ないでおはじきを1個引きます。出た色のとおりに石を取ります。コップの中に赤が多ければ、AIは1個取ることが多くなります。色の数の比率が、そのままAIの選ぶ確率です。

ルールが分かったら、実際にAIと12ラウンド戦ってみましょう。

AIの6個のコップ

AIが使っているコップが光ります。引いたおはじきはコップの手前に置かれます

手前に置かれたおはじきは「このラウンドでAIが選んだ手」の記録です。ゲームが終わるまで、コップには戻しません。

対戦する

全12ラウンド

ラウンド1 / 12

AIの勝ち0

あなたの勝ち0

AIの直近勝率—

AIの手番です残り 7 個

「対戦をはじめる」を押すと、AIが先手で1個目の手を指します。

12ラウンドが終わりました

育てたAIの成績

AIの強さスコア

— 点

—

必勝表との答え合わせ

— / 4 問

正解がある4つの状態（残り7・残り4・残り3・残り2）について、コップの中でいちばん多い色が正解と一致しているかを数えています。

状態	コップの中身	いちばん多い色	判定

—

種明かし：このゲームには必勝法があります

最後の1個を取ると負けなので、相手に「残り1個」を渡せば勝ちです。そこから逆算すると、自分の手番のあとで山を 1個または5個 にできればよいことが分かります。

状態（自分の手番の残り）	正しい手	引くべき色
残り7	2個取って5個にする	青
残り6	1個取って5個にする	赤
残り5	正解なし（相手が正しく指せば負け）	—
残り4	3個取って1個にする	黄
残り3	2個取って1個にする	青
残り2	1個取って1個にする	赤

この表を見ると、何手目かは一度も出てきません。大事なのはいま何個残っているかだけで、それさえ分かれば次の手が決まります。この「次の手を決めるのに必要な情報」を、強化学習では状態と呼びます。

AIには必勝法を一度も教えていません

私たちがAIにしたのは、ゲームが終わったあとに 勝った手のおはじきを1個増やし、負けた手のおはじきを1個減らす、それだけです。必勝表も、石の数え方のコツも、一度も教えていません。

それでもコップの中身は、少しずつ必勝表の色に近づいていきます。うまくいった選択をしやすくするという操作を繰り返すだけで、正解にたどりつく。これが強化学習です。

あなたが育てたAIの答え合わせ

状態	コップの中身	いちばん多い色	正解	判定

—

「残り6」のコップだけ、中身が変わっていないはずです

—

AIはいつも先手で戦っていたので、自分の手番で石が6個残っている場面に一度も出会いません。経験していない状況については、AIは何も学べません。これは学習の穴です。
もし相手のAIの穴を知っていたら、そこを突く作戦を立てられます。実際の機械学習でも、学習データにない状況をわざと作って相手のAIを誤らせる攻撃が研究されています。

回数を増やすと、どこまで賢くなるか

12ラウンドでは足りません

ここでは、AIに練習相手と自動で1000回対戦させます。勝ったら増やし、負けたら減らす。規則は、あなたが手でやったものと同じです。

ひとつだけルールを足しています。どの色も最低1個は残す（最後の1個は減らさない）というルールです。0個になった色は二度と引けません。引けなければ、その手で勝つこともなく、増やすこともできません。AIはその手を二度と学び直せなくなります。12ラウンドではめったに起きませんが、何百回も続けると、正しい手が運悪く0個になって固まってしまいます。しばらく使っていない手も、ときどき引けるようにしておく。これを強化学習では探索といいます。

対戦した回数0

AIの強さスコア—

必勝表との一致— / 4

対戦した回数	強さスコア	必勝表との一致

ボタンを押すと、上のコップの中身が一気に変化します。

AlphaGo は何百万回も対局しました

石が7個しかないこのゲームでも、12回では足りませんでした。このゲームのコップは6個で足りますが、囲碁で起こりうる盤面は数えきれません。コップにあたるものも、同じだけ必要になります。

だから囲碁のAI「AlphaGo」は、人と戦う前に自分自身と何百万回も対局して、勝った手を増やし負けた手を減らし続けました。やっていることは、いま皆さんがおはじきでやったことと同じです。

強化学習には、正解を教える先生がいません。あるのは「勝ったか負けたか」という結果だけです。それでも十分な回数をこなせば、AIは自分で正解にたどりつきます。

← 前に触るとよい：近いものに聞くあちらは正解のついたデータから学びます。こちらには正解がなく、勝ち負けの結果しかありません。

横に広げる：くり返す値下げ合戦石取りゲームの相手は手を変えてきません。だから正解が1つに決まります。相手も考えて手を変えてくる場合はどうなるかを見てみましょう。