アリさんのケーキ探し ―― DQN版

「Excelでわかる機械学習超入門」でのQ学習がなんとか分かったような気がするので、次のDQNに進もうとしているのだが、、、、
説明を読んでも、エクセルシートで何をしているのか、よくわからない。
時間かかりそう、、、、