WM論文日誌

使用説明

本文用於長期記錄 World Model（WM）在機器人導航、路徑規劃、具身智能方向的論文閲讀、復現、實驗與創新點分析。

當前重點關注：

• Navigation World Model
• Latent World Model
• World Model + Policy
• World Model + Model-Based RL
• World Model + MPC / CEM / MPPI
• 動態障礙預測與導航
• World Model 實時化與輕量化
• Sim2Real
• ROS2 / Nav2 / 實機部署
• 3D Structured World Model（3D 結構化世界模型）
• Gaussian World Model（高斯世界模型）
• Learnable Digital Twin（可學習數字孿生）
• Renderer / Simulator / Planner 功能分類
• World Model 的輸入、世界表示、輸出與決策模塊之間的關係

當前階段的目標不是立即確定創新點，而是：

1. 建立 World Model + Navigation 方向的論文譜系；
2. 找到適合作為第一篇工作的強 baseline；
3. 完整復現至少一個 baseline；
4. 分析 failure case 和 limitation；
5. 從實際問題中尋找 research question；
6. 再把 research question 轉化為可驗證的創新點；
7. 最終完成仿真、消融、對比和實機閉環實驗。

論文目錄

論文鏈接總表

論文定位與影響力

復現與工程成本

這一表重點用於判斷：能不能作為 baseline、算力夠不夠、復現成本多高、實機鏈路是否成熟。

當前實驗室計算資源

GPU Server A

1 × RTX 5090

用途：

• 單卡開發；
• 訓練 Debug；
• 小中型 World Model fine-tuning；
• 單卡 ablation；
• inference；
• ONNX / TensorRT；
• 實機部署前性能測試。

GPU Server B

3 × RTX A6000 48GB

用途：

• 當前主要訓練資源；
• DDP 多卡訓練；
• World Model fine-tuning；
• 中型 Transformer / Diffusion；
• 多組 ablation；
• 較大 batch；
• 部分模型並行 / FSDP。

注意：

3 × 48GB != 单进程天然拥有 144GB 显存

需要 DDP / FSDP / model parallel 等方式利用多卡。

GPU Server C

4 × GTX 1080 Ti

用途：

• 數據預處理；
• CPU/GPU 混合的數據生成；
• 傳統 baseline；
• 老模型；
• 部分仿真任務；
• 不依賴現代 Tensor Core / BF16 的任務。

不優先用於現代大規模 Transformer / Diffusion 訓練。

World Model 放在完整機器人鏈條中的位置

Sensor / Observation
传感器 / 当前观测
        ↓
Perception / Representation
感知 / 世界表示
        ↓
World Model
世界模型
        ↓
Future Prediction
未来预测
        ↓
Planner / Policy
规划器 / 策略
        ↓
Controller
控制器
        ↓
Robot Command
机器人执行命令

最簡單的記憶方式：

• Computer Vision（計算機視覺，CV）：回答“現在世界是什麼樣”；
• World Model（世界模型，WM）：回答“如果執行某個動作，未來世界會變成什麼樣”；
• Planner（規劃器） / Policy（策略）：回答“我應該做什麼動作”；
• Controller（控制器）：把高層動作變成速度、關節或力矩命令。

因此，World Model 的輸出通常不等於 cmd_vel。常見輸出包括 Future RGB（未來圖像）、Future Latent State（未來隱狀態）、Future Depth（未來深度）、Future Occupancy（未來佔據）、Future 3D Gaussian Scene（未來 3D 高斯場景）、Reward / Value / Risk（獎勵 / 價值 / 風險）等。

Renderer / Simulator / Planner 功能分類

Renderer（渲染器）

主要回答：世界看起來會是什麼樣？

典型輸出：RGB、Video、Novel View（新視角）、Depth、3D rendering。更偏 CV / Generative Vision（計算機視覺 / 生成視覺）。

Simulator（模擬器）

主要回答：世界在時間和動作作用下會怎樣變化？

典型輸出：Future State（未來狀態）、Future Geometry（未來幾何）、Object Pose（物體位姿）、Future Latent（未來隱狀態）、Future 3DGS（未來三維高斯）、Reward / Risk / Dynamics（獎勵 / 風險 / 動態）。

Planner（規劃器）

主要回答：為了達到目標，我應該做什麼？

典型輸出：Action（動作）、Action Sequence（動作序列）、Trajectory（軌跡）、Velocity Command（速度命令）。

常見術語：

• CEM（Cross-Entropy Method，交叉熵方法）：採樣很多候選動作，保留表現更好的，再繼續搜索；
• MPC（Model Predictive Control，模型預測控制）：不斷向前預測一小段，只執行當前最優動作，然後重新規劃；
• MPPI（Model Predictive Path Integral，模型預測路徑積分）：一種採樣式 MPC；
• Learned Policy（學習策略）：神經網絡直接根據狀態選擇動作；
• Actor-Critic（演員-評論家）：強化學習中的策略學習結構。

按 World Model 輸出形式分類

**Latent State（隱空間狀態）**可以理解成：把複雜圖像、三維結構、語義和動態壓縮成一組機器可處理的數字特徵，人通常不能直接看懂，但模型可以拿它做預測和決策。

按 World Representation（世界表示）分類

按“更偏 CV 還是更偏 Planner / Robotics”分類

不是嚴格學科劃分，只是標記主要創新發生在哪一段。

更偏 CV / 3D Vision                              更偏 Planning / Robotics

Atlas
GWM
DreMa
DINO-WM
NWM ---------------------------- CEM Planning
One-Step WM -------------------- CEM / Optimizer
V-JEPA 2-AC -------------------- Latent Planning
X-MOBILITY --------------------- Learned Policy
DreamerNav --------------------- Model-Based RL
NavWAM ------------------------- World + Action Joint Modeling

按 Renderer / Simulator / Planner 重新看這些工作

一個統一的五問閲讀法

以後看到任何 World Model 論文，優先回答：

1. Observation（觀測）是什麼？ RGB、Depth、LiDAR、Robot State、Camera Pose、Language Goal？
2. Representation（世界表示）是什麼？ Pixel、Latent、DINO feature、BEV、Occupancy、3D Gaussian、Digital Twin？
3. World Model Output（世界模型輸出）是什麼？ Future RGB、Future Latent、Future Occupancy、Future 3DGS、Reward / Risk、Action-conditioned future？
4. Planner / Policy（規劃器 / 策略）怎麼決定動作？ CEM、MPC、MPPI、Neural Policy、Actor-Critic、World Action Model？
5. Robot Output（機器人最終輸出）是什麼？ cmd_vel、trajectory、joint position、end-effector pose、action chunk？

當前路線判斷

World Model + Policy

代表：

• X-MOBILITY
• NavWAM

基本結構：

Observation
    ↓
World Model
    ↓
Latent State
    ↓
Policy
    ↓
Action

特點：

• 適合真實機器人閉環；
• 不一定需要每個控制週期進行大量 CEM 搜索；
• 推理更容易做實時；
• 容易形成 World Model + robot deployment 的完整故事。

當前判斷：

最適合第一篇工作的主路線。

World Model + Planning

代表：

• Navigation World Models
• DINO-WM
• One-Step WM

結構：

Observation
    ↓
World Model
    ↓
Imagine Future
    ↓
CEM / MPC / Optimizer
    ↓
Action

特點：

• World Model 與 Planner 解耦；
• 可顯式測試 counterfactual actions；
• 學術上很有 World Model 味；
• 生成式 WM 往往存在推理延遲；
• planner 需要大量 candidate rollout 時計算成本很高。

World Model + Model-Based RL

代表：

• DreamerNav
• DreamerV3 系列

結構：

Observation
    ↓
RSSM World Model
    ↓
Imagined Rollouts
    ↓
Actor-Critic
    ↓
Policy

特點：

• latent imagination；
• sample efficiency；
• reward design 很重要；
• training stability 是核心問題；
• 很適合動態環境與複雜決策；
• 需要理解 RL，不只是模型結構。

第一主 baseline 候選：X-MOBILITY

基本信息

論文：

X-MOBILITY: End-To-End Generalizable Navigation via World Modeling

Venue：

ICRA 2025

機構：

• NVIDIA
• UC Berkeley
• UT Austin

鏈接：

• arXiv: https://arxiv.org/abs/2410.17491
• Project: https://nvlabs.github.io/X-MOBILITY/
• GitHub: https://github.com/NVlabs/X-MOBILITY
• Hugging Face Model: https://huggingface.co/nvidia/X-Mobility
• Hugging Face Dataset: https://huggingface.co/datasets/nvidia/X-Mobility

方向：

• World Model
• Robot Navigation
• Imitation Learning
• End-to-End Navigation
• Sim2Real
• Cross-Embodiment
• Edge Deployment

當前定位：

第一主 baseline 候選。

選擇原因：

1. 本身就是移動機器人導航，不需要強行把一個 manipulation WM 改成 navigation；
2. World Model 與 Action Policy 解耦，適合在 World Model 部分做研究；
3. 有 Isaac Sim；
4. Teacher 直接使用 Nav2；
5. 有 Dataset；
6. 有 Checkpoint；
7. 有 ONNX / TensorRT / ROS2 部署鏈；
8. 有 Nova Carter 實機；
9. 算力雖然原論文高，但比從零復現 NWM 1B 更現實；
10. 和未來 ROS2 / Nav2 / 實機方向高度兼容。

一句話理解

X-MOBILITY 的核心思想：

利用 World Model 學習一個包含環境狀態與動態信息的 latent representation，再利用這個 latent state 學習導航 Action Policy。

普通 Behavior Cloning：

Image
  ↓
Network
  ↓
Action

X-MOBILITY：

Image + Robot State
        ↓
    World Model
        ↓
    Latent State
        ↓
   Action Policy
        ↓
      Action

關鍵區別：

Latent State 不只是為了擬合 teacher action，而是通過 World Modeling 與 multi-task decoder 被迫學習環境與動態信息。

總體網絡結構

                     Image
                       ↓
                    DINOv2

Robot State → MLP ─────┤
                       ↓
              Observation Embedding
                       ↓
               State Estimator
                       ↓
                Belief State
                       ↓
               Latent State z
                 ↙     ↓      ↘
                /      │       \
               ↓       ↓        ↓
          RGB Decoder Semantic  Action Policy
                         Decoder      ↓
                                   Velocity
                                     +
                                    Path

另有：

State Predictor

負責：

History
+
Action
  ↓
Future Belief State

World Model 的關鍵本質：

[ p(s_{t+1}\mid s_t,a_t) ]

Observation Encoder

輸入主要包括：

RGB

前視相機圖像。

視覺特徵：

DINOv2

Robot State

主要包括機器人速度等狀態量。

通過：

MLP

編碼。

最終：

Image Embedding
+
Robot State Embedding
      ↓
Observation Embedding

State Estimator

輸入：

History
+
Previous Action
+
Current Observation

輸出 probabilistic belief state。

用於估計：

在已經看到真實 observation 的情況下，當前世界 latent state 應該是什麼。

State Predictor

輸入：

History
+
Action

不使用未來 observation。

輸出：

Predicted Future Belief State

也就是：

如果我執行這個 action，未來 latent world state 會變成什麼。

State Predictor 與 State Estimator 之間通過 KL 約束，使預測出來的 latent distribution 接近真實觀察得到的 posterior。

Multi-Task Decoder

作者希望 latent state 不是隻會擬合 action，因此使用多個 decoder 給 latent state 提供監督。

主要包括：

RGB Reconstruction
+
Semantic Segmentation

RGB Reconstruction 使用 Latent Diffusion Model。

論文 appendix 給出的模型規模中：

RGB Diffuser ≈ 962M

但真正負責 world dynamics 的組件小得多，例如：

State Estimator ≈ 5.5M
State Predictor ≈ 2.3M

這一點非常值得關注：

Navigation World Model 是否真的需要一個近 1B 的 RGB Diffuser？

Action Policy

輸入：

Latent State
+
Route Feature

Route 使用：

VectorNet

編碼。

之後：

Self-Attention Fusion
        ↓
Action Decoder

輸出：

Linear / Angular Velocity
+
Optional Local Path

Policy 使用 imitation learning 學習 teacher。

數據集

訓練數據來自 Isaac Sim 中的 Nova Carter。

分為兩類。

Random Action Dataset

≈ 160K frames

用途：

World Model pretraining。

核心目標不是學導航，而是儘量探索：

state-action coverage

讓 WM 學習：

執行動作後世界怎麼變化。

Nav2 Teacher Dataset

≈ 100K frames

Nav2 在 Isaac Sim 中閉環運行：

Random Start
+
Random Goal
      ↓
Nav2
      ↓
Teacher Trajectory

用途：

World Model
+
Action Policy

聯合訓練。

Multi-Stage Training

Stage 1：World Model Pretraining

Random Action Dataset
        ↓
World Model

Policy 關閉。

Stage 2：World Model + Action Policy

Nav2 Teacher Dataset
        ↓
World Model + Policy

特點：

World Modeling 與 Policy Learning 解耦。

這可能是 X-MOBILITY 最值得作為 baseline 的設計之一。

原論文計算資源

原始訓練配置：

8 × NVIDIA H100

World Model：

100 epochs

World Model + Policy：

100 epochs

Batch：

32

因此不建議第一步直接嘗試：

從零 100% 復現 NVIDIA 的完整訓練規模。

更現實：

Official Checkpoint
        ↓
Reproduce Evaluation
        ↓
Fine-tuning
        ↓
Modify Module
        ↓
Ablation

推理與 Edge Deployment

作者在：

Jetson AGX Orin

測試推理。

Policy Only：

P50 ≈ 38.6 ms
P95 ≈ 42.0 ms
GPU Memory ≈ 594 MB

Policy + Semantic：

P50 ≈ 55.6 ms
GPU Memory ≈ 804 MB

説明：

真正用於 navigation inference 的主體並沒有 962M RGB diffuser 看上去那麼誇張。

官方工程鏈：

PyTorch
   ↓
ONNX
   ↓
TensorRT
   ↓
ROS2
   ↓
Robot

這對未來實機很重要。

Sim2Real

真實平台：

NVIDIA Nova Carter

訓練：

Isaac Sim

真實部署：

Zero-Shot Sim2Real

即：

不針對真實實驗室環境額外 fine-tune。

實機 benchmark 包括：

Single Obstacle
Multi Obstacles

Normal Lighting
Dark Lighting

論文報告：

Single / Normal    10 / 10
Single / Dark      10 / 10
Multi / Normal      8 / 9
Multi / Dark        8 / 9

Cross-Embodiment

Isaac Sim 中進一步測試：

Nova Carter
Forklift
Unitree Go2
Unitree G1

對應：

Differential Drive
Ackermann
Quadruped
Humanoid

研究意義：

latent representation 與標準化 input/output 是否可以跨 embodiment 泛化。

原論文 Baselines

當前記錄：

• Nav2 Teacher；
• Behavior Cloning；
• MILE；
• X-MOBILITY。

後續需要繼續詳細整理：

• 每個 baseline 的 network；
• 是否使用同一 dataset；
• 是否 retrain；
• 訓練預算是否一致；
• open-loop 與 closed-loop 分別怎麼比；
• statistical significance；
• 是否有 hidden implementation advantage。

Evaluation Metrics

Open-loop：

• Linear Speed MAE；
• Angular Speed MAE；
• Path MAE。

Closed-loop：

• Success Rate；
• Weighted Trip Time；
• Average Absolute Angular Acceleration。

未來自己的論文可以追加：

• Collision Rate；
• Minimum Obstacle Distance；
• Path Length；
• Navigation Time；
• SPL；
• FPS；
• P50 / P95 latency；
• GPU memory；
• Parameters；
• Energy / power；
• Dynamic obstacle collision rate；
• OOD success rate。

當前認為的優點

工程鏈完整

Isaac Sim
↓
Dataset
↓
World Model
↓
Policy
↓
TensorRT
↓
ROS2
↓
Real Robot

Dataset / Checkpoint / Code 都有

降低復現門檻。

World Model 與 Policy 解耦

非常適合：

保持 Policy Pipeline
      ↓
重点改 WM

Nav2 可以同時當 Teacher 和傳統 baseline

這與移動機器人研究非常自然。

可上實機

不是隻在 offline benchmark 上比較 prediction metric。

當前認為的不足 / 待驗證問題

動態障礙研究仍不充分

作者未來工作明確提到：

需要增加更多 diverse dynamic-obstacle scenes，進一步研究 world model 對 action policy 的作用。

可能的 research question：

X-MOBILITY 的 latent dynamics 在高速、多人、交叉運動動態環境中是否仍然可靠？

感知主要依賴 RGB

當前核心輸入：

RGB
+
Robot State

機器人導航還有：

LiDAR
Depth
BEV
Occupancy

待驗證：

RGB latent 是否缺少穩定 geometry grounding？

RGB Diffuser 很大

≈ 962M

待驗證：

對導航來説，有沒有必要生成 / 重建 RGB？

可能替代：

• Future Latent；
• Depth；
• Occupancy；
• Traversability；
• Dynamic Motion；
• Collision Risk。

World Model prediction 與 navigation performance 的因果關係不夠直觀

必須問：

prediction metric 更好，是否一定帶來 closed-loop navigation 更好？

未來 ablation 應該專門分析。

潛在 Research Questions

以下只進入「問題池」，不能直接當作論文創新點。

Dynamic World Modeling

現象候選：

Fast Pedestrian
Crossing Pedestrian
Multi-Agent Interaction
Sudden Appearance

問題：

現有 latent dynamics 是否能可靠預測動態實體？

Multi-Modal World Modeling

候選：

RGB
+
LiDAR / Depth / BEV

問題：

顯式 geometry modality 是否提高 OOD、暗光、運動模糊和動態導航魯棒性？

Navigation-Oriented Representation

從：

RGB Reconstruction

轉向：

Future Occupancy
Depth
Traversability
Dynamic Motion
Collision Risk

問題：

對 navigation 來説，task-oriented prediction 是否比 photorealistic reconstruction 更有效？

Lightweight World Model

研究：

• Distillation；
• Quantization；
• Efficient temporal model；
• Decoder pruning / replacement；
• Adapter；
• low-rank fine-tuning。

目標：

Lower Latency
Lower VRAM
Similar / Better Navigation SR

Uncertainty-Aware WM

從：

One Future

變為：

P(Future | State, Action)

研究：

uncertainty 是否能用於 risk-aware navigation？

X-MOBILITY 復現 Checklist

• 通讀論文第一遍
• 畫出總體網絡圖
• 搞懂 Observation Encoder
• 搞懂 State Estimator
• 搞懂 State Predictor
• 搞懂 KL Loss
• 搞懂 RGB Decoder
• 搞懂 Semantic Decoder
• 搞懂 Route Encoder
• 搞懂 Action Policy
• 下載 GitHub
• 搭建 Docker 環境
• 下載 official checkpoint
• 下載 official dataset
• 跑通官方 inference
• 跑通 official evaluation
• 跑通 Isaac Sim demo / 數據鏈
• 嘗試一次 fine-tuning
• 記錄單卡顯存
• 記錄單 iteration 時間
• 記錄多卡訓練效率
• 復現主要 open-loop 指標
• 復現主要 closed-loop 指標
• 建 Failure Case Dataset
• Failure Case Analysis
• 提出第一個 hypothesis
• 做最小修改驗證 hypothesis
• 通過後進入正式創新點設計
• Ablation
• 與強 baseline 對比
• TensorRT
• ROS2
• 實機

Navigation World Models（NWM）

基本信息

論文：

Navigation World Models

Venue：

CVPR 2025 Oral

Best Paper Honorable Mention。

鏈接：

• arXiv: https://arxiv.org/abs/2412.03572
• Project: https://www.amirbar.net/nwm/
• GitHub: https://github.com/facebookresearch/nwm
• Hugging Face: https://huggingface.co/facebook/nwm

核心：

Observation
+
Navigation Action
        ↓
Conditional Diffusion Transformer
        ↓
Future Observation
        ↓
CEM / Trajectory Ranking
        ↓
Navigation

模型

核心提出：

CDiT
Conditional Diffusion Transformer

模型公開規模包括：

CDiT/S ≈ 50M
CDiT/B ≈ 200M
CDiT/XL ≈ 1B

最大模型：

≈ 1B

原論文計算資源

CDiT-XL：

8 machines
×
8 H100 / machine
=
64 × H100

這意味着：

不適合當前階段把 1B XL 從零完整訓練作為第一篇論文的必要前置條件。

但：

50M / 200M pretrained model

可以作為以後小規模實驗入口。

數據

主要：

• RECON；
• SCAND；
• TartanDrive；
• HuRoN；
• Ego4D 等。

特點：

使用機器人、人類 egocentric video 與 navigation action 學世界動態。

Planning

NWM 可以：

Standalone Planning

Sample Candidate Actions
        ↓
NWM Imagine Future
        ↓
Compare Future with Goal
        ↓
CEM
        ↓
Best Action

官方 planning 示例一次可以採：

120 candidate trajectories

這也是它實時部署成本很高的原因之一。

Rank External Policy

也可以：

External Policy
      ↓
Candidate Trajectories
      ↓
NWM Rank
      ↓
Best Trajectory

實時性

原始 NWM 推理較慢。

論文討論了：

• Time Skip；
• Diffusion Distillation；
• 4-bit Quantization（論文中作為潛在方向）。

這直接説明：

實時 World Model 是該路線的重要研究問題。

已知 Limitation

OOD Mode Collapse

在未知環境 autoregressive rollout 時：

prediction 逐漸丟失當前環境 context，並向訓練分佈中的場景靠攏。

Pedestrian Temporal Dynamics

論文明確指出：

對 pedestrian motion 等 temporal dynamics 模擬仍然困難。

Long-Horizon Drift

隨着 autoregressive rollout 變長：

Error Accumulation

越來越嚴重。

這些問題後來直接衍生出：

• AR Forcing；
• One-Step WM；
• NavWAM 等新工作。

當前定位

必須精讀，但暫時不作為第一篇從零訓練主 baseline。

主要用途：

1. 理解 Navigation World Model 最前沿問題；
2. 學 Diffusion World Model；
3. 學 action-conditioned future generation；
4. 學 CEM planning；
5. 找 long-horizon / realtime / dynamic motion 的研究問題。

DINO-WM

基本信息

論文：

DINO-WM: World Models on Pre-trained Visual Features Enable Zero-shot Planning

Venue：

ICML 2025

鏈接：

• arXiv: https://arxiv.org/abs/2411.04983
• Project: https://dino-wm.github.io/
• GitHub: https://github.com/gaoyuezhou/dino_wm

核心問題

它挑戰一個非常重要的問題：

World Model 為什麼一定要重建未來 RGB？

DINO-WM：

Image
 ↓
DINOv2
 ↓
Patch Features
 ↓
World Model
 ↓
Future Patch Features
 ↓
Planning

即：

直接在 pretrained visual feature space 預測未來。

重要意義

相比：

World Model
↓
Generate Future RGB

DINO-WM：

World Model
↓
Predict Future Representation

可能具有：

• 更低計算成本；
• 更少無關 pixel reconstruction；
• 更強語義 representation；
• 更容易用於 task-oriented planning。

這與未來想研究的：

Navigation-Oriented Latent World Model

高度相關。

Tasks

官方代碼主要覆蓋：

• PointMaze；
• PushT；
• Wall；
• Reacher 等。

因此：

學術價值很高，但不是最直接的真實移動機器人導航 baseline。

當前定位

Latent World Model 必讀論文。

重點看：

• pretrained representation；
• patch-level latent dynamics；
• CEM planning；
• gradient-based planning；
• task-agnostic world representation。

DreamerNav

基本信息

論文：

DreamerNav: learning-based autonomous navigation in dynamic indoor environments using world models

Venue：

Frontiers in Robotics and AI，2025

鏈接：

• DOI: https://doi.org/10.3389/frobt.2025.1655171
• Full Text: https://www.frontiersin.org/journals/robotics-and-ai/articles/10.3389/frobt.2025.1655171/full
• PMC: https://pmc.ncbi.nlm.nih.gov/articles/PMC12510832/

Backbone：

DreamerV3
+
RSSM

核心

Depth
+
Structured Local Occupancy Map
+
Dynamic Obstacle History
+
Points of Interest
+
A* Global Path
        ↓
DreamerV3 / RSSM
        ↓
Local Navigation Policy

其中：

A*

負責 global guidance；

DreamerV3：

在 latent space 處理動態環境與 local decision。

Training Compute

論文報告：

1 × RTX 4090 24GB
≈ 24.79 h
≈ 495,000 policy steps

相比另外幾條路線非常友好。

Simulation

NVIDIA Isaac Sim

動態障礙、warehouse environment、curriculum learning。

Real Robot

平台：

Boston Dynamics Spot
Unitree A1

基本部署：

Real Sensors
   ↓
ROS Node
   ↓
DreamerNav Model
   ↓
Velocity Commands
   ↓
Robot

同一 policy 部署兩個 quadruped。

已知 Limitation

論文明確提到：

rapidly approaching dynamic obstacles 下避障策略仍會失敗。

作者提出未來：

• RNN / attention；
• motion prediction；
• semantic segmentation；
• domain randomization；
• 更多真實環境測試；
• ablation study。

這篇論文非常適合學習：

一篇機器人碩士型完整論文從問題、方法、仿真、baseline 到實機應該怎麼組織。

當前定位

第一篇科研的低風險參考工作。

如果 X-MOBILITY 復現成本高於預期，可退一步從 DreamerNav / DreamerV3 體系建立科研閉環。

V-JEPA 2 / V-JEPA 2-AC

基本信息

論文：

V-JEPA 2: Self-Supervised Video Models Enable Understanding, Prediction and Planning

鏈接：

• arXiv: https://arxiv.org/abs/2506.09985
• Official GitHub: https://github.com/facebookresearch/vjepa2
• Meta Blog: https://ai.meta.com/blog/v-jepa-2-world-model-benchmarks/

核心路線

V-JEPA 2：

Internet-Scale Video
       ↓
Self-Supervised JEPA
       ↓
World Representation

V-JEPA 2-AC：

V-JEPA 2 Representation
        +
Robot Action
        ↓
Action-Conditioned Predictor
        ↓
Future Latent State
        ↓
Planning

數據規模

論文使用超過：

1 million hours

互聯網視頻做大規模預訓練。

隨後使用較少 robot interaction data 進行 action-conditioned post-training。

與當前課題關係

目前機器人實驗主要偏：

Manipulation

而不是移動導航。

因此：

不適合作為第一主 baseline，但必須關注 Foundation World Model 如何做預訓練 + robot post-training。

當前定位

重點學習：

• JEPA；
• Self-supervised representation learning；
• Foundation video model；
• Action-conditioned post-training；
• latent planning；
• 大模型預訓練與機器人小數據適配。

One-Step World Model

基本信息

論文：

An Efficient and Multi-Modal Navigation System with One-Step World Model

鏈接：

• arXiv: https://arxiv.org/abs/2601.12277
• Project: https://robotnav-bot.github.io/nav-onestepwm/
• GitHub: https://github.com/robotnav-bot/NOW

機構包括：

• Tsinghua University；
• Xiaomi Robotics Lab。

解決的問題

針對傳統 Navigation WM：

Multi-Step Diffusion
+
Autoregressive Frame Generation
        ↓
High Latency

提出：

One-Step Generation

Backbone

3D U-Net
+
Efficient Spatial-Temporal Attention

目標：

在保留 future imagination 能力的同時，大幅降低推理延遲。

Navigation

結合：

Optimization-Based Planning
+
Anchor-Based Initialization

支持：

• Image Goal；
• Language Goal；
• Point Goal。

當前定位

實時 World Model 必讀工作。

如果以後基於 X-MOBILITY 做 lightweight / realtime WM，要重點對比。

AR Forcing

基本信息

論文：

AR Forcing: Towards Long-Horizon Robot Navigation World Model

鏈接：

• arXiv: https://arxiv.org/abs/2605.31314
• Code: 當前 arXiv 信息稱將發佈，後續需要持續檢查官方倉庫

問題

很多 Diffusion Navigation WM：

訓練：

Ground Truth Context

推理：

Model Generated Context

於是：

Train-Test Distribution Shift
        ↓
Autoregressive Error Accumulation
        ↓
Long-Horizon Instability

方法

核心：

Autoregressive Training

訓練時顯式把模型自己的 prediction 重新放入 context。

目的：

讓模型在訓練階段就暴露於真正 inference 時會遇到的 state distribution。

Dataset

包括：

• RECON；
• SCAND；
• HuRoN；
• TartanDrive。

與 NWM 系導航數據高度重合。

當前定位

NWM long-horizon problem 的重要 follow-up。

重點研究：

• exposure bias；
• autoregressive rollout；
• diffusion training；
• long-horizon navigation consistency。

NavWAM

基本信息

論文：

NavWAM: A Navigation World Action Model for Goal-Conditioned Visual Navigation

鏈接：

• arXiv: https://arxiv.org/abs/2606.13494
• Project: https://dachii-azm.github.io/navwam/

核心問題

傳統 Navigation WM：

Observation
   ↓
World Model
   ↓
Future
   ↓
External Planner / CEM
   ↓
Action

問題：

future prediction 本身不能直接執行，還需要 expensive planning。

NavWAM

Observation + Goal
        ↓
World Action Model
        ↓
Future Observation
+
Goal Progress
+
Action Chunk
        ↓
Closed-Loop Action

核心：

把「預測未來」與「決定動作」聯合建模。

實機

使用：

Diablo mobile robot

並進行：

Simulation Pretraining
+
Real-Robot Adaptation

當前定位

用來觀察 World Model 是否正在從「預測模型」演化到「World Action Model」。

這可能是未來非常重要的方向：

WM
↓
WAM

GWM：Towards Scalable Gaussian World Models for Robotic Manipulation

基本信息

Venue：ICCV 2025。 ICCV（International Conference on Computer Vision，國際計算機視覺大會）屬於計算機視覺領域第一梯隊頂會。

鏈接：

• ICCV Open Access: https://openaccess.thecvf.com/content/ICCV2025/html/Lu_GWM_Towards_Scalable_Gaussian_World_Models_for_Robotic_Manipulation_ICCV_2025_paper.html
• Project: https://gaussian-world-model.github.io/
• GitHub: https://github.com/Gaussian-World-Model/gaussianwm

一句話理解

GWM 的重點不是簡單改變傳感器輸入，而是把 World Representation（世界表示）換成具有顯式三維幾何結構的 3D Gaussian，並預測動作作用後的 Future Gaussian Scene（未來高斯場景）。

核心結構

Current RGB Image(s)
        ↓
3D Reconstruction / Lifting
三维重建 / 提升
        ↓
Gaussian Splats
3D 高斯场景
        ↓
3D Variational Autoencoder
3D 变分自编码器
        ↓
Compact Gaussian Latent
        ↓
Latent Diffusion Transformer
隐空间扩散 Transformer
+
Robot Action
        ↓
Future Gaussian Latent
        ↓
Future 3D Gaussian Scene
未来 3D 高斯场景

Gaussian Splatting（高斯潑濺 / 3DGS）：用大量帶位置、大小、方向、顏色和透明度的三維高斯橢球表示場景。

World Model 輸出

主要是 Future 3D Gaussian Scene（未來 3D 高斯場景），不是直接 cmd_vel。

怎麼用於機器人

• Imitation Learning（模仿學習）：用 GWM 學到的 3D representation 幫助 policy；
• Model-Based Reinforcement Learning（基於模型強化學習）：把 GWM 當 Neural Simulator（神經網絡模擬器）產生 imagined rollouts。

實機

項目頁展示 Franka Emika FR3 + Panda Gripper + RealSense D435i，真實觀測使用第三視角 RGB-only 圖像。因此 GWM 的關鍵創新是內部 3D representation 與 dynamics prediction，而不是單純“加深度輸入”。

當前定位

3D Structured World Model / Geometry-Aware World Model / Simulator-oriented WM，更偏 3D Vision + Simulator。

DreMa：Dream to Manipulate

基本信息

全名： Dream to Manipulate: Compositional World Models Empowering Robot Imitation Learning with Imagination

Venue：ICLR 2025。 ICLR（International Conference on Learning Representations，國際學習表徵會議）屬於機器學習 / 深度學習第一梯隊頂會。

鏈接：

• arXiv: https://arxiv.org/abs/2412.14957
• ICLR Proceedings: https://proceedings.iclr.cc/paper_files/paper/2025/hash/8f0d446441a938d9de420a8ab8d7fd36-Abstract-Conference.html
• Project: https://dreamtomanipulate.github.io/
• GitHub: https://github.com/leobarcellona/drema_code

一句話理解

DreMa 把 World Model 做成 Learnable Digital Twin（可學習數字孿生），用 3D Gaussian Splatting + Physics Simulator 顯式複製真實場景，然後在裏面“做夢”，自動生成新的機器人訓練示範。

Compositional World Model（組合式世界模型）

**Compositional（組合式）**表示場景中的物體、機器人和環境可以單獨移動、變換和重新組合，而不只是作為一整張不可拆分的圖像存在。

Few Real Demonstrations
少量真实示范
        ↓
Learnable Digital Twin
可学习数字孪生
        ↓
改变物体 / 目标 / 场景配置
        ↓
Physics Simulation
物理模拟
        ↓
Imagined Demonstrations
想象出来的新示范
        ↓
Imitation Learning
模仿学习
        ↓
Robot Policy

核心用途

DreMa 不是主要做在線路徑規劃，而是：

World Model → Imagination → Data Generation → Policy Learning

實機

使用 Franka Emika Panda，並展示 one-shot policy learning（單樣本策略學習）：某些任務變化只需一個真實示範，再依靠 imagination 擴充訓練數據。

當前定位

3D Structured WM + Learnable Digital Twin + Compositional WM + Data Generation for Imitation Learning，更偏 Simulator + Robot Learning。

Atlas：A World Model for Spatial Intelligence

基本信息

發佈方：World Labs

時間：2026-09-01

狀態： World Labs Research Release / Product Research Model，不是目前意義上的 CVPR / ICML / ICLR 正式會議論文。

鏈接：

• Official Blog: https://www.worldlabs.ai/blog/atlas
• World Model Taxonomy: https://www.worldlabs.ai/blog/taxonomy-of-world-models
• World Labs: https://www.worldlabs.ai/

一句話理解

Atlas 是面向 Spatial Intelligence（空間智能）的通用多模態 World Model，統一處理文本、圖像、視頻、相機位姿、深度和 3D，並進行世界生成、三維重建和時空模擬。

Spatial Intelligence（空間智能）

指 AI 不只知道“圖像裏有什麼”，還理解物體在哪裏、空間結構是什麼、換視角會看到什麼，以及世界如何隨時間和動作變化。

Model Architecture（模型架構）

官方描述為：

Multimodal Autoregressive Diffusion Transformer（多模態自迴歸擴散 Transformer）

目前可處理 Text（文本）、Image（圖像）、Camera Pose（相機位姿）、Depth Map（深度圖）、Video（視頻序列）以及 3D spatial context（三維空間上下文）。

Atlas 能輸出什麼

官方展示了：

RGB Image / Video
+
Depth
+
Point Cloud
+
3D Gaussian Splats

所以 Atlas 不只是“輸出圖像”，也可以產生 explicit 3D representation（顯式三維表示）。

Robotics Simulation（機器人仿真）

真实环境手机视频
        ↓
Atlas
        ↓
3D Reconstruction
三维重建
        ↓
Virtual Robot 沿给定路径运动
        ↓
Atlas 生成机器人将看到的 RGB + Depth

這裏要特別注意：當前公開演示更接近 Path → Atlas → Future Observation，而不是 Atlas → Path。 因此 Atlas 當前不是專門的導航 Planner。

當前定位

Foundation World Model / Spatial Intelligence Model（基礎世界模型 / 空間智能模型），目前更偏 CV + 3D Vision + Generative Model + Simulator。

統一論文閲讀模板

以後每篇新論文都複製下面模板。

基本信息

Title：

Authors：

Venue：

Year：

Organization：

Paper：

arXiv：

Project：

GitHub：

Model：

Dataset：

Citation / BibTeX：

一句話概括

它解決什麼問題

為什麼舊方法不行

核心假設

Observation / Input（觀測 / 輸入）

World Representation（世界表示）

記錄模型內部怎麼表示世界：Pixel / Video latent、DINO feature、RSSM latent、BEV / Occupancy、3D Gaussian、Explicit Digital Twin 等。

World Model Output（世界模型輸出）

明確記錄：Future RGB / Video、Future Latent、Future Depth、Future Occupancy、Future 3DGS、Reward / Value / Risk、Action Chunk 等。

Renderer / Simulator / Planner 定位

Renderer：
Simulator：
Planner / Policy：

CV ↔ Robotics 定位

記錄論文主要創新更偏 CV / 3D Vision，還是更偏 Planning / Policy / Robotics。

最終 Robot Output（機器人執行輸出）

例如 cmd_vel、vx / vy / wz、trajectory、joint position、end-effector pose、action chunk。

World Model 定義

Backbone

參數量

Pretrained Model

Dataset

Training Pipeline

Loss

Optimizer / LR / Batch

Training Compute

記錄：

GPU：
GPU 数量：
GPU 显存：
训练时间：
Epoch / Steps：
Precision：
Multi-GPU Strategy：

Inference Compute

記錄：

Device：
P50 Latency：
P95 Latency：
FPS：
VRAM：
Power：

Planner / Policy

與 Nav2 / ROS 的關係

Simulation

記錄：

Simulator：
Robot：
Sensor：
Scene：
Dynamic Obstacle：
Domain Randomization：
Control Frequency：

Real Robot

記錄：

Robot：
Compute：
Sensor：
ROS / ROS2：
Control Output：
Environment：
Number of Trials：
Success Rate：
是否 Fine-tune：
是否 Zero-Shot Sim2Real：

Baselines

Metrics

Main Results

Ablation

Failure Cases

Limitations

Authors' Future Work

我認為的潛在問題

和已有工作的差異

是否適合當我的 baseline

評分：

代码完整度：
数据完整度：
Checkpoint：
算力可承受：
复现难度：
移动机器人相关性：
实机难度：
创新空间：

復現結論

Research Question 池

這裏只存「問題」，不直接寫成“我的創新點”。

模板

問題名稱：

來源論文：

現象：

證據：

可能原因：

已有方法怎麼做：

為什麼現有方法還不夠：

我的 Hypothesis：

最小驗證實驗：

需要的 Baseline：

需要的 Dataset：

需要的 Compute：

可能失敗原因：

狀態：

未验证 / 初步验证 / 值得继续 / 放弃

創新點候選池

只有經過最小實驗支持的 Research Question 才進入這裏。

Failure Case 日誌

YYYY-MM-DD：實驗名稱

Model：

Checkpoint：

Environment：

Input：

Expected：

Actual：

是否穩定復現：

失敗類型：

• perception
• world prediction
• long-horizon drift
• planner
• policy
• sim2real
• latency
• localization
• sensor
• control
• other

初步原因：

需要做的對照實驗：

是否形成 Research Question：

實驗結果日誌

YYYY-MM-DD：Experiment ID

Goal：

Git Commit：

Config：

Dataset：

GPU：

Seed：

Training Time：

Metrics：

結論：

是否支持 Hypothesis：

下一步：

每日工作日誌

YYYY-MM-DD

今日目標：

今日閲讀：

今日實驗：

今天搞明白的問題：

仍然不理解：

Failure Case：

新的 Research Question：

新的 Idea：

下一步：

階段性目標

階段 A：建立方向認知

• 精讀 X-MOBILITY
• 精讀 NWM
• 精讀 DINO-WM
• 閲讀 DreamerNav
• 閲讀 One-Step WM
• 閲讀 AR Forcing
• 閲讀 NavWAM
• 精讀 GWM
• 閲讀 DreMa / Dream to Manipulate
• 閲讀 Atlas 官方技術説明
• 理解 Renderer / Simulator / Planner 分類
• 理解 RGB / Latent / 3DGS 等不同 WM 輸出
• 理解 World Model + Policy
• 理解 World Model + Planning
• 理解 Dreamer / RSSM

階段 B：建立 Baseline

• 跑通 X-MOBILITY official checkpoint
• 跑通 official evaluation
• 下載並檢查 dataset
• 跑一次 fine-tuning
• 記錄真實 compute cost
• 在本實驗室 GPU 上建立可復現配置

階段 C：Failure Case Analysis

• static
• cluttered
• narrow corridor
• dark
• motion blur
• fast dynamic obstacle
• crossing pedestrian
• multi-agent
• OOD environment
• long-horizon

階段 D：Research Question

• 選擇一個穩定 failure
• 找到可能原因
• 查 related work
• 提出 hypothesis
• 做最小驗證

階段 E：第一篇論文

• Baselines
• Ours
• Main experiments
• Ablation
• Efficiency
• Simulation
• Real robot
• Figures
• Tables
• Writing
• Submission