各々の最適化アルゴリズムの式に簡単な関数の値を入力して、torch optimizerの出力と一致するか確認した。結果は一致した。SGDの更新式はシンプルでわかりやすい。これに、勾配の大きさ(gtの2乗)で更新量を抑制したり、過去の勾配の大きさ(α・Vt-1)を導入し…

機械学習で誤差を最小にするためのパラメータ更新（最適化アルゴリズム）のシミュレーションを、適当かつ簡単な関数で可視化した。下図で縦軸を誤差(Loss)、横軸をパラメータとした関数が青色線、その微分がオレンジ線である。青色線が最低となるところへ向…

姿勢推定モデルのネットワークは何を出力しているか、を理解するために、コードを見ていってモデル途中を可視化した。3x368x368のサイズのカラー画像を入力とし、futuremapという46x46の画像を中継点として、最終的に22枚の46x46画像を出力していた。この出…

3x3に配置された計9部屋があって、左上の部屋をスタートとして、右下の部屋の右の出口からでれば成功（Reward）とする。9つの状態(State)の各々での上下左右の4アクションのQ値を学習した。9部屋の範囲を超えての移動は不可とし、このアクションのQ値は-1と…

自販機で商品を購入する場合を想定して、状態State：自販機にコインが入っていない(S0) / コインが入っている(S1)アクションAction：コイン入れる(a0) / ボタン押す(a1) / 返却レバー(a2) として強化学習(Q-learning)させてみました。この学習経過における行…