摘要
一句话总结
何恺明团队提出GeoPT预训练范式，通过引入合成动力学让模型在无标签静态几何数据上学习物理规律，大幅降低了物理仿真对昂贵标注数据的依赖。
关键点
- 行业瓶颈：传统物理仿真（如CFD/FEA）生成标签成本极高，而仅对3D几何进行静态预训练会因缺失动力学维度导致下游任务出现“负迁移”。
- 核心创新：提出“动力学提升的几何预训练（GeoPT）”，通过为粒子随机采样构建“合成速度”，将静态几何提升到“几何+动力学”的联合空间。
- 自监督目标：模型在无标签数据上，通过追踪几何特征沿合成轨迹的演化过程，预先学习物理演化中的空间约束与耦合规律。
- 统一接口：预训练和微调阶段均接收“几何+速度”作为输入；微调时只需将随机速度替换为特定任务的物理条件（如空气动力学的入射流、碰撞的冲击方向等）。
- 计算效率：采用Transolver作为骨干网络（3M至15M参数），处理单个样本仅需约0.2秒，比工业级CFD仿真快10^7倍。
- 实验效果：在达到相同精度时，GeoPT可节省20%-60%的物理仿真数据，且微调阶段的收敛速度比从头训练快2倍。
- 扩展潜力：随着模型层数（8层至32层）和预训练数据量的增加，模型性能持续稳步提升，展现出“物理大模型”的潜力。
正文
静态3D资产缺少动力学信息，真实物理标签又极其昂贵，物理仿真到底该如何实现规模化（Scaling）？
何恺明团队最新的论文 GeoPT 提供了一种新思路。该研究提出了一种全新的动力学提升预训练范式，通过**合成动力学（Synthetic Dynamics）**将静态几何“提升”到动态空间，让模型在无标签数据上通过学习粒子轨迹演化来获取物理直觉。在相同的精度条件下，GeoPT最高可以节省60%的物理仿真数据。
物理仿真面临的核心瓶颈
一般来说，物理系统的解场（Solution Fields）是由几何（定义空间边界）和系统条件（动力学驱动，如速度、力）共同决定的。以空气动力学为例，汽车的形状定义了空间的边界，而风速和风向则决定了流场的演化与具体的阻力分布。
当前，研究已经从传统的物理仿真转向基于数据驱动的神经网络仿真器，但这一路径面临着两个核心瓶颈：
- 标注成本极高： 训练仿真器依赖由传统数值求解器（如CFD/FEA）生成的监督数据，生成一个工业级精度样本往往耗费数万CPU小时，高昂的“标签生成”成本严重限制了仿真器的规模化。
- 静态预训练的局限： 尽管互联网上有海量的3D几何数据，但如果仅对静态几何进行自监督预训练（如掩码重建任务），会因完全缺失“动力学”维度，导致模型无法捕捉物理仿真的核心特征，甚至在下游任务中出现“负迁移”现象。
将静态几何“提升”到动态空间
基于上述痛点，研究团队提出了一种全新的预训练范式——动力学提升的几何预训练（Dynamics-lifted Geometric Pre-training）。
其核心在于，虽然真实的物理标签难求，但“动力学”本身是可以被参数化的。研究通过在预训练阶段引入合成动力学，让GeoPT不仅学习到几何特征，还通过引入随机速度场，将表征从单纯的几何空间提升到“几何+动力学”的联合空间。
研究不依赖由物理决定且需要昂贵仿真才能获取的速度，而是通过随机采样每个粒子的速度来构建合成速度（Synthetic Velocities）。由此，自监督目标变成了几何特征在这种合成动力学下的轨迹。通过追踪几何特征沿这些合成轨迹的演化过程，研究获得了一个完全由几何构建的、感知动力学的监督信号。
这使得模型在接触真实的物理标签之前，就能够通过海量无标签几何数据，预先学习到物理演化中通用的空间约束与耦合规律。
统一接口与训练流程
上述动力学提升框架不仅提供了预训练目标，还为下游任务提供了一个统一的接口：在预训练和微调阶段，模型均接收几何和速度作为输入。
在预训练阶段，模型被训练用于预测合成动力学下的几何特征轨迹，目标函数涵盖了三个核心变量的组合：
- 几何： 从包含车、机、船等万余个几何体的数据集中进行类别平衡采样。
- 追踪点： 从物体周围的体积空间和几何边界上采样初始位置。
- 速度： 从有界球体中为每个点均匀采样随机速度。
在微调阶段，只需将预训练时的随机速度替换为编码了特定仿真设置的任务特定速度。具体的适配策略如下：
- 空气动力学： 将入射流条件（速度、攻角等）编码为特定速度，其方向与流向一致。
- 水动力学： 分别为水、气两相配置不同的速度，反映船舶阻力仿真中的两相流。
- 碰撞仿真： 将冲击方向编码为特定速度，其大小从碰撞点开始随空间衰减，以反映力的传播。
在具体细节上，研究采用Transolver作为骨干网络，配置了从3M到15M参数的三种模型尺寸。在计算优势上，处理一个样本仅需约0.2秒，比工业级CFD仿真快10^7倍。在80核CPU上，仅需3天即可生成5TB的预训练数据集。
实验验证与“物理大模型”潜力
在预训练中，研究使用ShapeNet-V1数据集，通过采样生成了超过100万个样本（约5TB数据）。任务覆盖了流体力学（汽车空气动力学、飞机受力分析、船舶水动力学）和固体力学（汽车碰撞最大应力仿真、辐射度仿真）等。
实验结果表明：
- GeoPT显著降低了对标注数据的依赖，在达到相同精度时可节省20-60%的物理仿真数据。
- 微调阶段的收敛速度比从头训练快2倍。
- 随着模型层数增加（从8层增加到32层）和预训练数据量的增大，性能持续稳步提升，展现了“物理大模型”的潜力。
总的来说，论文证明了通过“合成动力学轨迹”进行预训练，可以有效弥合静态几何与复杂动态物理任务之间的鸿沟。大规模无标签几何加上简单的合成动力学自监督，即可带来强大的跨领域物理仿真能力。
论文作者团队
- 第一作者： 吴海旭，MIT（CSAIL）博士后研究员，师从Wojciech Matusik教授。此前在清华大学获得博士和学士学位，导师为龙明盛教授（龙明盛教授现为清华大学软件学院副教授，也是本文作者之一）。
- 共同第一作者： Minghao Guo，MIT（CSAIL）博士生，同样师从Wojciech Matusik教授。本科就读于清华大学，硕士毕业于香港中文大学。
- 其他作者： Zongyi Li（何恺明教授的博士后）、MIT博士生Zhiyang (Frank) Dou，以及何恺明教授和Wojciech Matusik教授。
(注：该框架目前已开源，相关代码和论文可参考项目主页。)