机械浪漫 · Mechanic Romance

把冰冷的机械、数据与算法，组织成可被理解、可被复现、可被讨论的研究语言。

一个面向具身智能（Embodied AI）研究的开源语料库 + Demo 场景工作台。

30 秒读懂

维度	数字
📚 方法笔记	18 篇（IL / RL / DP / ACT / VLA / VLN / PPO / SAC / DAgger / BC / GAIL / DT / TD-MPC / 离线 RL / 流匹配 / 世界模型 / LLM 规划 / 遥操作）
🔧 硬件笔记	28 篇（机械臂 / 人形 / 灵巧手 / 末端执行器 / 四足 / 传感器 / 计算）
🎮 仿真笔记	9 篇（Isaac Lab / Habitat / MuJoCo / PyBullet / Genesis / SAPIEN + Sim-to-Real 三件套）
💡 概念笔记	24 篇（具身基础 / MDP 七要素 / 感知 / 训练）
🧪 Demo 场景	8 场（覆盖 IL / RL / VLA / 导航 / 灵巧手 8 大类）
📄 核心论文笔记	28 篇（VLA 8 / 世界模型 3 / 模仿学习 4 / 导航 3 / 基础模型 3 / RL 2 / 扩散 2 / 运动 1 / 操作 1 / 数据集 1）
🗂 数据集笔记	7 个（OXE / DROID / BridgeV2 / RH20T / RoboMimic / AgiBot World / RoboMIND）
🏢 行业 / 基准	24 篇公司/产业图谱（人形·机械臂·四足·模型公司·供应链）+ 9 篇评测基准
📖 综述笔记	6 篇（具身 AI / 基础模型 / VLA / 高效 VLA / Sim-to-Real / 人形全身控制）
🧭 研究里程碑	M0-M1 ✅ · M2 🟡 · M3-M4 ⚪（进度以 docs/roadmap.md 为准）

这不是另一个 GitHub 仓库

「机械浪漫」这个名字反讽地指向一个事实——机器没有浪漫，但研究机器的过程可以。

传统研究语料库往往把"方法 + 实验 + 代码"拆成三个互不相通的孤岛——论文在 arXiv，代码在 GitHub，笔记在 Notion / Obsidian。机械浪漫 拒绝这种割裂：

✅ 一篇笔记 = 一篇可引用的方法 / 硬件 / 仿真沉淀
✅ 一个场景 = 一份任务 / 观测 / 评估齐备、可照着复现的设计文档
✅ 一句话原则 = 看完即懂，讲完即用

它是什么：
- 🔍 可检索的语料库——论文方法不再散落各处
- 🎬 可讲解的场景工作台——把抽象的 SOTA 数字拆成说得清的任务与评估（可跑实现在 M3 逐步落地）
- 📓 可回放的研究日志——从选题到跑通的全过程

它不是什么：
- ❌ 不是训练框架（不重写 PyTorch / Isaac Lab）
- ❌ 不是仿真器（不重写物理引擎）
- ❌ 不是教科书（不写公式推导，只写"为什么"和"怎么用"）

🧪 8 个 Demo 场景

每个场景用统一模板定义任务、观测、动作、评估、硬件——可复现、可比较、可讲解。当前 8 个场景均为设计文档（状态见各场景 README）；其中 demo 01 已补全脚本骨架（scripts/{data,model,collect_demos,train,eval}.py + ENVIRONMENT.md，通过语法检查、尚未实跑），其余场景的可跑实现随 M3「实验复现」落地。

#	场景	类别	代表方法	演示形态
01	扩散策略·桌面堆叠	🦾 单臂 IL	Diffusion Policy	推方块到目标点
02	ACT·双手叠衣	🦾👐 双手 IL	Action Chunking Transformer	双手叠毛巾
03	RT-2·自然语言指令分拣	🧠 VLA	RT-2（VLM + 动作 token）	听指令分拣
04	OpenVLA·7B 复现	🧠 开源 VLA	OpenVLA-7B + BridgeData	桌面倒水
05	Figure 02 + Helix·端到端人形	🧍 商用人形	Helix（双系统 VLA）	开冰箱拿可乐
06	强化学习·Franka 抓杯	🔁 RL	PPO + Isaac Lab	仿真中学会抓杯
07	视觉语言导航·VLN-CE	🧭 导航	HAMT + Habitat	3D 室内听指令导航
08	灵巧手·五指旋转立方体	🖐 灵巧手	PPO + Allegro/LEAP	立方体掌心旋转

想看全景？→ Demo 类型全景

🗺 知识地图

mechanic-romance/
├── 📚 corpus/              ← 语料库（153 篇笔记 + 31 个索引）
│   ├── methods/            ← 18 篇方法笔记
│   │   ├── imitation-learning.md / behavioral-cloning.md / dagger.md / gail.md
│   │   ├── reinforcement-learning.md / ppo.md / sac.md / offline-rl.md
│   │   ├── decision-transformer.md / td-mpc.md / world-model-learning.md
│   │   ├── diffusion-policy.md / flow-matching.md / act.md
│   │   ├── vision-language-action.md / llm-task-planning.md
│   │   └── vision-language-navigation.md / teleoperation.md
│   ├── hardware/           ← 28 篇硬件笔记
│   │   ├── arms/                   ← Franka / UR5e / KUKA iiwa
│   │   ├── humanoids/              ← Figure 02 / Optimus / H1 / G1 / NEO / A2
│   │   ├── hands/                  ← Allegro / LEAP / Shadow + 数据采集专题
│   │   ├── sensors/                ← RealSense / DIGIT / 六维力矩
│   │   └── end-effectors/ · quadrupeds/ · compute/
│   ├── simulation/         ← 7 平台 + Sim-to-Real 3 篇
│   │   ├── platforms/              ← Isaac / Habitat / MuJoCo / PyBullet / Genesis / SAPIEN
│   │   └── sim-to-real/            ← 域随机化 / 系统辨识 / 域适应
│   ├── concepts/           ← 24 篇概念笔记
│   │   ├── foundations/            ← 具身 / 形态 / Sim-to-Real / 世界模型
│   │   ├── mdp/                    ← 状态 / 观测 / 动作 / 策略 / 奖励 / 动力学 / 价值
│   │   ├── perception/             ← 点云 / RGB-D / 手眼标定 / 触觉 / 位姿估计
│   │   └── training/               ← 预训练 / 微调 / 增广 / 课程学习
│   ├── papers/             ← 28 篇论文笔记（vla / world-models / imitation-learning / navigation …）
│   ├── datasets/           ← 7 个数据集（OXE / DROID / BridgeV2 / RH20T / RoboMimic / AgiBot / RoboMIND）
│   ├── benchmarks/         ← 9 篇评测基准（操作 / 导航 / 运动 / VLA 真机评测）
│   ├── industry/           ← 24 篇公司/产业图谱（人形 / 机械臂自动化 / 四足 / 模型公司 / 供应链）
│   └── surveys/            ← 6 篇综述
│
├── 🎬 demo/                ← 8 个场景定义（设计文档）
│   ├── scenarios/                 ← 场景定义（核心）
│   ├── prompts/                   ← 提示词与脚本
│   └── assets/                    ← 素材
│
├── 🔬 research/            ← 研究过程留痕
│   ├── proposals/                 ← 课题提案
│   ├── notes/                     ← 阅读笔记
│   └── experiments/               ← 实验记录
│
├── gtm/                    ← 发布与推广策略（GTM）
│
├── 📖 docs/                ← 项目级文档
│   ├── roadmap.md                 ← 研究路线图（进度唯一事实源）
│   └── conventions.md             ← 写作约定
│
└── 🗄 archive/             ← 旧项目归档（Piroom，勿动）

🌊 方法演化时间线（2022-2026）

2021 ─ HAMT ─────────────────── Transformer + 历史（VLN SOTA，NeurIPS 2021）
  │
2022 ─ RT-1 ────────────────── 行为克隆 + 7-DoF token
  │   SayCan ───────────────── LLM 规划 + affordance 接地（CoRL 2022）
  │
2023 ─ RT-2 ────────────────── 首个 VLA，VLM + 动作 token（开 VLA 时代）
  │   Diffusion Policy ─────── 多模态动作建模（IL 主力）
  │   Open X-Embodiment ────── 21 机构 / 22 本体联合数据集（RT-X）
  │   ACT ──────────────────── 动作分块 + CVAE（双手操作）
  │   PaLM-E ───────────────── 具身多模态 LLM（ICML 2023）
  │
2024 ─ OpenVLA-7B ─────────── RT-2 的开源复现（单卡可微调）
  │   π₀ (Pi-Zero) ─────────── Flow matching 替代 token（高频控制，RSS 2025）
  │   Mobile ALOHA ─────────── ACT 配移动底盘（CoRL 2024）
  │   DDEX ─────────────────── Diffusion Policy + 灵巧手
  │   Octo ─────────────────── 开源通用机器人策略（27M / 93M）
  │   RDT-1B ───────────────── 1.2B 扩散 Transformer + 统一动作空间（2024-10）
  │   NaVid ────────────────── 视频 VLM 导航（RSS 2024）
  │
2025 ─ Helix (Figure 02) ───── 双系统 VLA（System 1 + System 2）
  │   π₀.₅ ─────────────────── 五路异构共训、跨环境泛化（2025-04）
  │   GR00T N1（NVIDIA）────── 开源人形基础模型（2025-03）
  │   GO-1（智元 AgiBot）───── 通用具身基础模型（Genie Operator-1）
  │   Figure 03 ────────────── 下一代人形整机（BotQ 量产线）
  │
2026 ─ Helix 02 ───────────── 全身自主（System 0 + System 1，行走 + 灵巧操作）
        ↑ 你在这里 ↑

详细笔记见 corpus/methods/

ℹ️ 2021-2026 条目均有官方来源支撑：Helix / Figure 03 / Helix 02 见 Figure 官方新闻（figure.ai/news），GO-1 见智元 AgiBot 官方发布（2025-03），GR00T N1 / RDT-1B / π₀.₅ / NaVid 等 2026-10 新增条目经 arXiv 逐篇核实（详见 corpus/papers/ 各笔记元信息）；详细考证见 corpus/industry/humanoid-overseas/figure-ai.md。

🎯 8 大研究主题全覆盖

主题	核心问题	代表方法	在本仓库
🦾 单臂操作	如何抓放物体？	BC / DP / VLA	demo 01 · 03 · 04 · 06
🦾👐 双手操作	如何协调双臂？	ACT / Mobile ALOHA	demo 02
🧍 人形机器人	通用身体如何决策？	Helix / π₀ / GO-1	demo 05
🖐 灵巧手	5 指能做什么？	PPO / DDEX / DexCap	demo 08
🧭 导航	如何听懂指令走路？	HAMT / DUET / NaVid	demo 07
🧠 基础模型	一个模型统治一切？	RT-2 / OpenVLA / π₀	demo 03 · 04 · 05
🔁 学习范式	演示 / 试错 / 纠错？	IL / RL / DAgger	跨 8 demo
🔄 Sim-to-Real	仿真能迁到真机吗？	域随机化 / 系统辨识	跨 6 demo

🛠 如何使用本仓库

🎓 我是研究者

# 1. 克隆
git clone https://github.com/allengaller/mechanic-romance.git
cd mechanic-romance

# 2. 按需浏览
ls corpus/methods/        # 找方法笔记
ls demo/scenarios/        # 找场景定义
cat docs/roadmap.md       # 看研究路线

推荐路径：
- 🚀 快速入门：看 Diffusion Policy 笔记 + demo 01
- 🧭 了解 VLA：看 vision-language-action.md → demo 03 → demo 04
- 🤖 看前沿：看 demo 05 + Figure AI 行业笔记

🛠 我是工程师

从场景定义到可跑实验（以 demo 01 为例）：

demo 01（扩散策略·Push-T）已具备完整脚本骨架与环境说明：scripts/data.py（HDF5 契约与动作分块）、model.py（自包含 DDPM/DDIM 扩散策略）、collect_demos.py（官方数据转换 / 遥操采集）、train.py、eval.py，配套 requirements.txt 与 ENVIRONMENT.md。这些脚本已通过语法检查但按项目约定尚未实跑——首次运行请按 ENVIRONMENT.md 的顺序执行并回填实测结果。其余 7 个场景仍为设计文档，落地计划见 roadmap M3。在此之前，请按场景「方法」一节指向的原始方法官方仓库复现，例如 demo 01 对应 Diffusion Policy 官方实现：

# 1. 阅读场景定义与环境说明，明确任务 / 观测 / 评估协议
cat demo/scenarios/01-扩散策略-桌面堆叠/README.md
cat demo/scenarios/01-扩散策略-桌面堆叠/ENVIRONMENT.md

# 2. 装官方环境（Push-T 是 2D pymunk + pygame 实现），再跑本仓库脚本骨架
git clone https://github.com/real-stanford/diffusion_policy.git
cd diffusion_policy && pip install -e .

✍️ 我想贡献

读 CONTRIBUTING.md 了解命名与引用约定
复制 demo/scenarios/_template.md 写新场景
在 corpus/ 对应目录加新笔记（方法 / 硬件 / 仿真）
PR 时附：「我加了什么 / 解决什么 / 引用源」

🛣 Roadmap

阶段	目标	状态	完成日期
M0 · 骨架	建立语料库与 Demo 场景项目结构	🟢 完成	2026-08-02
M1 · 语料沉淀	沉淀方法 / 硬件 / 仿真 / 概念 / 基准 / 行业语料（合计 67 篇）	🟢 完成	2026-08-05
M2 · 场景定义	落地 8 大类 8 个场景定义；首个场景推进到最小可跑复现	🟡 进行中（8 份定义已起草；demo 01 脚本骨架 + 环境说明就绪，待实跑）	—
M3 · 实验复现	复现 1 个基线方法并记录结果	⚪ 待开始	—
M4 · 阶段总结	输出阶段性研究报告 / Demo 视频	⚪ 待开始	—

详细路线图：docs/roadmap.md

🧭 项目精神

「把一篇论文读懂很容易，把它讲给别人听很难；
把一个方法跑通很容易，把为什么跑得通讲清楚很难；
把一项技术用起来很容易，把它在整个领域的位置看清楚很难。

机械浪漫追求的不是'难'本身，而是'把难的东西组织得美'——
这是工程师对世界的浪漫，也是浪漫对工程师的敬意。」

📜 引用与致谢

许可

本仓库语料笔记与场景文档暂未设置开源许可证（默认保留所有权利）：可自由阅读与链接；转载 / 修改 / 再分发请先开 issue 联系作者。正式 LICENSE 将在社区公开推广前补充（见 gtm/README.md 可信度门禁）。
所引用第三方论文、数据集与图片的版权归原作者所有，本仓库仅作说明性引用，均标注来源与访问日期。

引用

如果你在研究中参考了本仓库，请引用：

@misc{mechanic-romance,
  title = {机械浪漫 · Mechanic Romance: A Research Corpus and Demo Workbench for Embodied AI},
  author = {Galler, Allen},
  year = {2026},
  url = {https://github.com/allengaller/mechanic-romance}
}

致谢

所有引用论文的作者——他们才是真正的研究者
Hugging Face LeRobot / Isaac Lab / Diffusion Policy 等开源项目
arXiv / Papers with Code / CrossMoe 提供的研究基础设施
所有为具身智能开源生态贡献的工程师与研究者

📊 仓库统计

最后更新：2026-10-05

corpus/
├── methods/        18 篇
├── hardware/       28 篇（7 类）
├── simulation/      9 篇（7 平台 + Sim-to-Real 3 篇）
├── concepts/       24 篇（4 子目录）
├── papers/         28 篇笔记（10 个主题子目录）
├── datasets/        7 个数据集
├── benchmarks/      9 篇评测基准（操作/导航/运动/VLA）
├── industry/       24 篇（5 个子板块）
└── surveys/         6 篇综述

合计 153 篇内容笔记 + 31 个索引 README

demo/
└── scenarios/       8 场 Demo（设计文档；demo 01 已含脚本骨架 + 环境说明，未实跑）

🔗 相关项目

kudig-io/kudig — K8s 节点诊断工具（70+ analyzers）
ai-guru-global/resolve-agent — AIOps / RAG Agent
standup-coder/mcp4coder — MCP 工具聚合
opendemo-work/opendemo — 518+ 技术 demo

📫 联络

作者：Allen Galler（法喜）
GitHub：@allengaller
Email：allengaller@qq.com
个人站：allengaller.github.io

「机器没有浪漫，但研究机器的人，可以有。」 🤖