PL-MPCがTD-M(PC)2にMTDとATEとRADを追加、HumanoidBenchの高難度タスクで平均報酬を大幅改善

学習世界モデルとMPCを組み合わせた制御ループにおいて、批評家の学習、計画時の終端価値評価、プランナから方策への蒸留という3つの接続点を改良することで性能を向上できるか。

TD-MPC系のプランニングと学習の閉ループでは、1段階TD学習が即時報酬しか使わず、プランナの終端価値が不確実でもそのまま使われ、プランナ生成データの質が考慮されないため、高難度タスクで方策が不安定になり成功率が低い。

TD-M(PC)2などの方策制約型TD-MPCは、プランナと方策の整合性を高めるが、批評家の学習目標は1段階TDのままであり、MPPI終端価値はアンサンブル不確実性を無視し、プランナ模倣も実現リターンを考慮していなかった。

PL-MPCは、利用可能なリプレイ区間内では実測報酬を使い、区間を超える部分のみ学習モデルを展開するハイブリッド多段階TD目標MTD、目標批評家アンサンブルの標準偏差で終端価値をペナルティするATE、エピソード実現リターンの正規化重みでプランナ実行行動の模倣を強化するRADを追加した。世界モデルとMPPI最適化器は変更しない。デフォルトはMTDのn=3、ATEのηmax=0.5、RADは256件のリターン統計キューと200Kステップのウォームアップを使用する。

HumanoidBenchの13 locomotionタスクとDMControlの4タスクで評価した。TD-M(PC)2と比べ、balance-hardではTotal Average Return（TAR）が98±18から387±255に、hurdleでは199±13から466±200に増加した。13タスク中8タスクで平均が上回り、5タスクで下回ったが、そのうちwalk、crawl、sit-simpleは基準リターン閾値を超えた。DMControlではhumanoid-walkで最高平均947±6を記録した。除去実験では、balance-hardでMTD除去が387±255を186±51に低下させ、hurdleではATE除去が296±21、RAD除去が231±72に低下した。実機のレンチとナットの位置合わせでは、Isaac Gymのみで学習しKUKA IIWA14にゼロショット展開し、訓練サイズ5で74.2%対61.3%、未見サイズ3で80.0%対73.3%、サイズ1で33.3%対20.0%の成功率を報告した。試行数はサイズ5が各31回、未見サイズは各15回である。

著者らは、改善がタスク依存的で、balance-hardとhurdleではシード間のばらつきが大きく、RADのウォームアップを200Kから750Kに遅らせると改善するタスクと悪化するタスクが混在すると述べている。提案手法はTD-M(PC)2上のみで評価されており、他のTD-MPC系基盤への転用は今後の課題とされている。また、実機実験は1台のKUKA IIWA14、1つのタスクと3つの物体サイズ、試行数も最大31回と限定的で、サイズ1の成功率は33.3%と低い。コードとデータは公開予定としているが、本論文は査読前のプレプリントである。