アリさんのケーキ探し―― 大きい版２

拡張してみた。考え方は同じはずなのに、修正すべき個所は意外と多かった。たかがこれだけのコードで、ちょっと変えただけなのに。何度試しても修正し忘れとか、いつの間にか変わっていたりとか、なかなかうまく行かない。

例えばこれ。なんでまた各Q値がマイナスになる？とわけわからずあちこち確認、さらに各ステップの記録をひとつひとつ見ていったが、やっぱり初歩的な、しかし致命的な間違い。D37がなぜか－１になっているのはいいとして、i37が空欄になっている。j37もない。それではダメだ。各状態で、次の部屋の魅力度を示すのがQ値だが、新たなQ値は、現状のQ値を使う。それが無ければ、即時報酬の－１ばかりで新たなQ値を算出することになる。当然だめだ。

このほか、いくつも修正をして、やっと形になったかな、という結果がこれ。一応、最短ルートの一つを出している。

エピソードが50回でこれだが、100回でもあんまり変わらなかった。最初の一歩は、下より右である。でも、下でも同じ回数でケーキに到達できるはずだが。
初期値を変えてみるとどうなるか、試してみよう。