未来から、いまの一手をつくる。
終端条件を置く。価値を逆算する。方策に沿って進む。
未来の評価を、地形にする
条件を変えて、方策を比べる
条件を変えると、終端から計算し直します。座標は認知状態を表すための無次元の教材用座標です。
未来の「評価基準」を先に置く
TCZ(G) の内側は終端コストが 0。外側は距離の2乗でコストが増えます。この評価を、ひとつ前の時刻の判断に使います。
一手 Δt を小さくした極限が HJB 方程式。画面は時間と空間を区切った動的計画法です。
数式を読む・このシミュレーションの前提 ＋
定理8との対応
参照する原式は JG[u] = ∫ V₀(x(τ),τ)dτ + λd(x(T),G)²、および WG(x,T) = λd(x,G)² です。「点 G」モードはこの形を使います。「領域 TCZ(G)」モードは、距離の対象を教材用の円盤 D に置き換えた集合目標の拡張です。円盤を論文の TCZ の一般的な定義と同一視するものではありません。
時間を戻すのは「計算」
Wk+1 が分かれば、全地点の Wk と πk を計算できます。一本の軌道を後ろ向きにたどるのではなく、「その時刻にその地点にいたら何をするか」という方策を作ります。実行時は ẋ = f(x,π(x,t),t) に従い、時刻 0 から T へ進みます。
具体的な f(x,u,t)
b(x,t) = 0.32β[0.7 + 0.3 cos(2πt/T)] (−(x₂−3.75), x₁−5)
u は「操作なし」と16方向の速さ 1.6 の操作、合計17候補。b は状態・時刻によって変わる環境の流れです。操作なしでも、b ≠ 0 なら動きます。矢印 f は速度、次の位置までの変位は Δt f です。
その場の負荷 V₀
+ A exp(−(x₁−5.1)²/0.65 − (x₂−3.65)²/1.35)
中央に高負荷の領域があり、最短の方向が最小コストとは限りません。この V₀ と f は逆算を観察するために設定したモデルであり、人間の認知を測定した値ではありません。
ベルマン更新から HJB へ
W(x + Δt f,t + Δt) ≈ W + Δt ∂ₜW + Δt ∇W · f
0 = ∂ₜW + minu { V₀ + ∇W · f }
滑らかな点での一次展開です。∇W · f は「その方向へ動くと、将来のコストがどれだけ変わるか」。候補の最小値が価値 W、最小値を与える操作が方策 π です。複数の最小候補がある場合は一つを選びます。
数値計算の範囲
状態空間は [0,10] × [0,7.5]、65 × 49 格子、Δt = 0.25。陽的 Euler の次状態と双線形補間による半ラグランジュ型のベルマン更新を使います。領域外へ出る候補は不許可です。有限の17候補で最小化する近似で、連続制御の HJB の厳密解ではありません。
実行時も、現在の連続座標で同じ17候補を評価します。格子補間のため、軌道の実測コストと補間した W に差が出ることがあります。有限の終端ペナルティは到達を強制せず、TCZ への収束や到達後の不変性も保証しません。画面には実際の残り距離を表示します。