莫得最热，只须更热。

具身智能边界从来不缺新故事。

仅在往常一个月里，英伟达发布物理 AI 模子 Cosmos；阿里发布绽开式宇宙模子 HappyOyster；腾讯开源混元 3D 宇宙模子 2.0；“AI 教母”李飞飞创办的 World Labs 也在 4 月发布了 Marble 1.1 系列模子，主打大模范 3D 场景生成。

宇宙模子、UMI（Universal Manipulation Interface）、物理仿真，这些也曾主要出当今学术论文中的见地，还是成为行业参谋的高频词。

4 月 23 日，在由投中主理的“第 20 届中国投资年会·年度峰会”上，峰瑞成本首创结伙东说念主李丰直言，生成高维数据、宇宙模子和物理模子，是具身智能现时的三个投资热门新场合。

在他看来，这些新见地和新时势的出现，根源在于短缺数据，“具体来说，是东说念主类从来莫得积存过多半包含这些物理量和物理宇宙交互国法的数据，咱们从来莫得大规模产生过这类数据。”

而商场对生成高维数据、宇宙模子和物理模子等场合的热捧，本质上都是为了治理磨灭个问题——如安在莫得这类数据的情况下，依然能治理问题，完成想要完结的各样机器东说念主操作任务。

以下为李丰现场演讲实录，经投中网整理，转载时内容有微调——

当先恭喜投中20届年会奏凯举办，也相配感谢投中的邀请。当今作念投资东说念主其实不太容易，商场上日眉月异的见地太多，咱们总得不休地更新常识、握续学习。

今天共享的，也仅仅咱们我方的一些不雅察和想法。最近又出现了相配多的新惹事物和新见地，我从中挑了几个，跟公共换取。

/ 01 /

具身智能的三件新事：UMI、宇宙模子、物理模子

莫得现实也能采数据：UMI 把录像头挂上了胸口

从去年年底运行，非论是好意思国如故中国，都出现了无现实机器东说念主的数据，叫 UMI（Universal Manipulation Interface）数据。

UMI 数据的生成，带来的戒指即是出现了好多新契机，以及好多看似有远景的创业公司，它们会提供各式各样的数据汇集确立。比如你最近看到的，有东说念主在胸口挂个录像头，再加上随机有触觉、随机莫得触觉果真立；非论是遥操作、手上戴的机械手，如故顺利用手完成各样动作，都属于这一类，也即是生成高维数据。

宇宙模子：简直整个机器东说念主公司都在讲的故事

当今更娴雅的见地是宇宙模子，今天简直整个机器东说念主公司都会提到这个词。

宇宙模子试图通过引入新的三维数据，包含与物体讲和并更正其状态的交互数据，来构建一个新的模子，看这个新模子能否更好地相连东说念主类到底是怎样与物体进行交互，况且更正物体状态的。

面前国表里有相配多新兴公司和知名企业都在涉足这个边界。海外的发展还是繁荣兴旺，国内则算是刚刚起步。当今去看具身相关名目，基本上公共都会讲宇宙模子的故事。

物理模子：阳光终于照到了数学系和物理系

宇宙模子里还有一个略微尽头的小分支，叫物理模子。它背后的基本逻辑是：既然机器东说念主要与物理宇宙交互，不如从物理宇宙过往的指示中模仿。这些过往的指示，即是行业里原来所说的仿真，或者叫物理仿真。

物理仿真自己，即是咱们对现实宇宙中存在的物理时势，进行数学和物理层面的模拟、归纳与推测打算。今天这个小分支，即是把这些过往被称为仿真（非论是 CAE 如故 CAD）的智商，重新融入到模子当中。

道理其实很简便，最终主张都是为了处理和相连东说念主类怎样与物理宇宙交互。

这和今天公共讲的谎言语模子不相似：谎言语模子专注于处理数字信号相关的问题，非论是数字化的文本信息、数字化的像素，如故视频信息；而当今要治理的问题是，桌上的杯子是什么情况、杯子倒了会何如样、何如把杯子提起来、何如把杯子放到别的地方——这些都属于宇宙模子要遮蔽的内容，包含宇宙模子里阿谁小小的分支。

新故事所代表的三个场合

咱们梳理这些内容，是因为它们各自代表了不同的场合。

第一类没什么争议，生成高维数据，主如果把新的数据汇集门径和新的数据处理门径集会在了一皆。

第二类是宇宙模子，面前由原来偏推测打算机或者大模子、作念 computer vision（推测打算机视觉）的东说念主在主导——非论是把推测打算机视觉用在东说念主脸识别上、用在自动驾驶上，如故用在发展出谎言语模子架构上。

第三类是物理模子。这个小分支里出现了好多作念数学和物理的东说念主。不错说，投资边界的朝阳，或者说早期投资的故事与泡沫，终于从推测打算机系挪出了一部分阳光，照到了数学、物理这些边界里。

/ 02 /

侵略背后的两大挑战

侵略背后藏匿挑战。

话语模子，筹议不了物理宇宙

第一个挑战是话语模子。咱们不从工夫架构上参谋，只说中枢问题——话语模子对物理宇宙进行筹议和生成数据的智商还是不够用了。

不够用的一大施展即是，它无法筹议物理宇宙中具体物品、具体对象的状态变化。

一个超等大模子，如故一群模子相互打调解？

还有一个挑战，即是单一模子的局限。

就像谎言语模子，如果最终要作念成单一模子，既要能相连东说念主类的意图，又要能相连语义（也即是知说念这个东西是什么），还要能筹议和相连物理量的更正——比如把这个东西端起来、把水倒出来、把东西碰倒，还要判断这个东西是重是轻、是什么材质，以及这种材质的弹性、硬度、摩擦力是高是低，等等。

如果一个模子能像这样包揽整个事情，既能相连意图、识别对象，还要筹议这些物理量，以及动作发生后物理量的变化，那这个模子最终会比当今大得多、复杂得多。

因为这是一个相配高维的任务。原来的话语模子只需要处理数字化的信息和像素，而当今要筹议这样多维度的内容，假如还想用单一模子来处理，以咱们东说念主类现存的联想力来看，这会是一个超等大的模子。临了需要若干数据来考验它，它会是何等复杂、何等损失算力、何等损失各样能源，今天咱们还不知所以，这是一个尚未有谜底的问题。

另一个可能的谜底是多模子交融：把各式各样的物理量调度为仿真相关的内容，让它与某一个基座模子进行交互。需要某类常识时，就调用这部分相关的智商；需要某种物理量时，就调用对应的模子。如果是这样，就会波及到多半模子的交叉、调用与交融——而这些模子之间怎样完结交叉、调用和交融，面前也莫得谜底。

这即是在前边三件事的基础上，还是出现的两个挑战，非论咱们选拔哪一条发展旅途，都绕不开。

根源：咱们莫得这种数据积存

这个挑战的开头其实也很明确。公共看到的这些时势、新创业公司和新范式场合，根源都是相似的——莫得数据。

具体来说，是东说念主类从来莫得积存过多半包含这些物理量和物理宇宙交互国法的数据，咱们从来莫得大规模产生过这类数据。

是以非论是前边提到的第一、二、三类创业场合，本质上都是为了治理磨灭个问题——如安在莫得这类数据的情况下，依然能治理问题，完成想要完结的各样机器东说念主操作任务。

/ 03 /

具身智能的三角敛迹

如果把具身智能的方针算作一个平面坐标系，即是三个不同的场合，我把它们称之为三角敛迹：复杂性、奏遵循、泛化性。

具体来说：

1. 复杂性：要完成尽头复杂的任务——这类任务对东说念主类来说不一定复杂，但对机器东说念主来说相配复杂。以及，这里说的不是通顺相关的任务，而是操作类任务，也即是和手相关的任务。

2. 泛化性：让一个模子既能用在 A 类机器东说念主、B 类机器东说念主、C 类机器东说念主上，还能适配不同的愚弄场景。

3. 奏遵循：有些场景是和实验相关的，有些是工业操作场景，再比如和剪头发、推拿相关的行状于东说念主的场景——昭彰没东说念主但愿推拿时被摁断一根肋骨，也不但愿剪头发时被剪秃一块，这就波及到不同场景下的奏遵循问题。

咱们梳理这些内容的原因，是因为当今公共看到的大部分 demo（演示版块）都离现实愚弄有些差距。这些 demo，都在勉力讲明，这个三角形的面积不错变大，不错向三个维度延迟——如果是空间坐标系，即是体积变大，在各个场合都完结延迟。

晦气的是，在咱们面前能看到的有限范围内，即使是 demo 层面，大部分名目也仅仅在平面坐标系的三角形里，勉力把其中一个角或者一个半角略微延迟一丝。咱们还莫得明确看到，有哪种门径能把这三个角同期向外拉很远，从而让三角形的面积大幅增大。这大致即是今天机器东说念主操作边界的近况。

总结一下刚才讲的整个时势：在还是繁荣兴旺的具身智能机器东说念主创业方朝上，有这样三件新事，对于这三件新事的深切参谋还未几，但信赖很快，开云(中国)一站式服务官方网站公共会运行参谋咱们刚才提到的两个挑战。

今天咱们讲的这些新模子，畴昔到底会是什么神志？是变成更大、更复杂甚而超乎咱们面前联想的单一模子，如故会出现多个模子相互调用，但多模子怎样交融，仍未可知？这即是挑战所在。而这些挑战出现的根源，即是今天莫得弥散的数据。我说的“莫得”，是指莫得治理这类问题所需要的、包含物理宇宙交互和物理量的相关数据。

此外，今天公共看到的简直整个 demo，都在力争讲明我方能把这个三角形拉大，但大部分公司在 demo 层面（而非信得过道理上的愚弄层面）能作念到的，仅仅把其中一个角略微拉长，随机再把另一个半角略微拉长。

/ 04 /

以史为鉴：三条还是走过的路

投资最让东说念主头疼的事情是，除了提倡问题，还得勉力寻找治理决策。

咱们面前莫得明确的治理决策，只须一些以史为鉴的参考案例。

谎言语模子：吃掉了东说念主类近40 年的互联网文本

咱们先以公共最谨慎的谎言语模子为例。

从 2012 年深度学习飞扬运行，算法的演进资格了一系列迭代——诚然从卷积神经网罗（CNN）运行的这一串算法结构或算法逻辑的迭代，跟今天的谎言语模子并不是在磨灭条阶梯上。

紧接着在 2014 年之后，出现了生成起义网罗（GAN）工夫。跟着工夫范式进一步演进，自后才汇注到了以 Transformer 为代表的谎言语模子的算法逻辑。这即是算法的迭代经由。包括大模子在内的算法迭代从来不是线性的，不是公共按照顺次一步一个台阶往上爬，而是爬了两三步之后，换一个角度再爬两三步，再换一个角度链接爬。

咱们再说说谎言语模子的数据开头。今天咱们能考验出的基座模子，很猛进度上依赖于近 40 年积存的互联网文本数据。公共使用电脑大致有 30 年，使用手机大致有 15 年。在这 40 年里，咱们使用这些智能确立的经由中，产生了超等广漠的文本公开数据库，这些数据即是谎言语模子得以考验、并取得今天这样遵循的数据开头。

要补充的是，这仅仅考验文本的部分。刚才咱们提到，当今要考验的具身模子，需要涵盖更多维度——既有 3D 空间，又有具体物体，还包含物理量、交互模式，并但愿它具备筹议智商。这些事情还是远远超出了筹议下一个“词”的边界，比单纯的话语筹议要复杂得多，更何况咱们当今还莫得运行像攒互联网文本数据那样大规模积存相关的数据。

自动驾驶：先卖你一辆车，顺遂把数据收了

自动驾驶则有点尽头。

今天公共在网上不时会看到争论：不同公司争论今天的自动驾驶到底要不要经过 L3 阶段？是否不错不经过 L3 顺利到 L4？

为什么会有这样的争论？包括特斯拉在内，今天大部分自动驾驶工夫，面前都停留在 L3 到 L4 之间，暂时还莫得哪家公司能信得过声称我方还是突出了 L4——这里说的是绽开路面，不是口岸、矿区或者园区这类相对顽固的环境。

但自动驾驶的发展，也资格了从以规则为主，到今天最娴雅的端到端（和谎言语模子的架构访佛）的经由。另外还有一件相比稀奇的事：自动驾驶的算法迭代也不是线性的，它也不是顺着一条路一步一步走出来的，而是在几个不同的方朝上来去交叉鼓吹的。

再说说自动驾驶的数据开头，这一丝就更尽头了。自动驾驶的数据果然主要靠它我方赢得。

以特斯拉为例，在去年以前，绝大多数东说念主买新能源车的时候，非论它是电架构的如故混动的，公共买的是车自己。在去年或旧年以前，大部分东说念主买车还不是为了自动驾驶，而是为了省钱、好开好用、舒坦、加快快。而公共买车的时候，凑巧这辆车上搭载了整个的传感器，因为它是一款消费品。

打个譬如公共就理会了：公共用智高东说念主机和电脑，信服不是为了让商场上任何一家互联网巨头赢得我方的图片、文本和语音数据。但因为智高东说念主机和电脑是公共的消费品，凑巧搭载了后置高清录像头、麦克风阵列、GPS 芯片，是以公共在使用这些确立的经由中，产生了无数的数据为互联网巨头所用，而这些数据，也成了今天各样模子需要的数据开头。

自动驾驶的尽头之处就在于，它先把我方变成了一款受宽待的消费品，公共应允购买。公共买车的同期，也把车上搭载的整个传感器买了且归，这些传感器产生的数据，又能拿转头匡助自动驾驶工夫进行大规模的迭代。正因为这个原因，公共会发现，谁领有的数据越多，谁的自动驾驶工夫可能跳跃得就越快一丝。

但这些数据不是它向公共购买的，而是它卖给公共一款公共需要的消费品，这款消费品上凑巧搭载了相配多的传感器，这些传感器就把驾驶数据、环境数据、车内驾驶习尚、路况景色等，调度成了自动驾驶模子考验所需的数据。

这在历史上是很有数的，它是一个我方给我方积存数据的边界——不是因为它是自动驾驶工夫，而是因为它当先是一辆车。在往常十年里，公共买车不是为了买自动驾驶功能，仅仅为了买一辆车，而传感器是车上自带的。

AlphaFold：数据不够，先验常识来补

临了咱们看 AlphaFold（卵白质结构筹议）。它的三个模子版块，也资格了不同的发展经由。天然当今它的算法结构，也和咱们今天参谋的这些大模子有相关性，或者说在某种道理上是端到端的。

在发展初期，它需要借助多半已有的东说念主类数据，或者说需要加入一些物理模子。什么是物理模子？即是咱们所说的热力学、能源学。是以在 AlphaFold1 和 AlphaFold2 阶段，需要加入好多东说念主类还是总结的先验常识，也即是一些生物国法，以及与化学、物理相关的国法和算法。

AlphaFold 的数据，伊始在 AlphaFold1 阶段相比少，因为它需要的曲直常专科的数据——它要治理的是一个极其具体的问题：卵白质序列最终会怎样折叠，这条长链条牢固下来之后是什么神志？

它的数据发展也资格了这样一个经由：一运行只须少许的卵白质结构数据，这时候就需要加入较多的物理、数学模子和先验常识；自后数据多了一丝，物理、化学、数学模子和先验常识就不错减少一丝；数据再增加一些，这些模子和常识就再减少一丝。天然，这其中还波及好多与实验相关的责任。

AlphaFold 的发展旅途的尽头之处在于：它不是通过消费者积存数据，而是依靠十分专科的科研数据。但在其模子进化到今天的经由中，很长一段时辰内，说合者都加入了东说念主类的先验常识、物理模子、数学模子等，来匡助它在发展经由中治理问题。之后，跟着新数据络续积存，加上多半实验的考据和纠正，才发展到了今天的 AlphaFold3。今天它可能需要的物理与数学模子以及先验常识，还是略微少了一丝。

不外它凑巧是一个筹议细则的单一维度课题的模子，主要主张即是治理卵白质牢固下来之后怎样折叠。它不需要像具身智能那样治理那么多维度的问题，不需要治理状态变化、对象变化、相互作用以及各式物理量等复杂问题。

/ 05 /

十年之后，谜底可能在这三条路里

上头讲到的谎言语模子、自动驾驶、AlphaFold，是我面前能意象的不错参考的三种事物的迭代经由。

谎言语模子用了全东说念主类积存近 40 年的数据，加上非线性的算法迭代，到今天才发展出能够处理话语相关的逻辑。

自动驾驶从 2015 年投资最热的时候运行，用了十年时辰发展到今天的 L3.5 阶段，天然时间也际遇了一些不同的挑战。它的算法迭代也不是线性的，它的数据是靠我方赢得的——但原因不是它让公共襄助汇集数据，仅仅通过卖给公共一辆车，车上凑巧搭载了这些传感器，是以它我方为我方创造了数据。

AlphaFold治理的是卵白质结构和折叠这个专科问题，它用了多半的专科数据，治理了一个单一维度的问题，同期算法也资格了几次不同的迭代，况且在中间很长一段时辰里，借助了东说念主类的先验常识、物理模子、数学模子等，来匡助它治剃头展经由中的问题。

这是三条不同的发展说念路，公共不错字据我方的情况，各自选拔参考谜底。

今天具身智能出现的这些挑战，在十年以后，最终要么是以这三个案例中的某一个为正本得到治理，要么是交融这三个案例各自的上风，酿成交叉性的治理决策。具体是哪一种，这是一个绽开的问题——咱们只可提倡问题，无法给出细则的谜底。

以上内容，仅供公共参考或者念念考。谢谢公共。

开云(中国)一站式服务官方网站