アリさんのケーキ探し ―― 何度かやってみたが、、、

さて、なんとかケーキに到達したら、それを何度も繰り返し、ケーキに至る最短ルートを求める！のだが、
Greedy比を次第に小さくしながら20回ほどやってみたが、8回目あたりから、Q値がみんな－１になってきた。これは変だ。これは、ケーキのある部屋以外の部屋の即時報酬の値だけど、なんでそうなる？
やっぱりどこかおかしい。