アリさんのケーキ探し ―― まだまだ序盤

各ステップについて、さらに微調整したが、まだ修正するところがあるかもしれない。数をこなして調べてみよう。
ということで、数をこなして異常値を探し出しているのだが、一つ、ランダムに行っていると、アリさんはなかなかケーキに到達しないということに気がついた。『Excelで学ぶ機械学習超入門』では、10ステップ目でケーキにたどり着かないエピソードは無視する、と書いてあった。確かに、最短では5ステップ目でたどり着く。10ステップもあれば十分のような気もするが、全然そんなことはない。εGreedy法だと、最初のうちはランダムに動く可能性が高い。ランダムに動いていると、１の部屋と2の部屋をずっと行ったり来たりし続ける可能性もある。5ステップ目（4回移動）で9の部屋にたどり着く確率は39分の3だ。これは、一つ一つ数えていったのだが、数え漏れがあるかもしれない。10ステップ目となると、確率はどう変わるかな。数えるのもうんざりで、考えていないのだが、、、、まあ、ランダムに進む確率が減少し、過去に到達した情報を少しでも参考にできるようになれば、到達する可能性がグッと上がるのだろう。