【OOMN-142】100cm越え 爆乳熟女を夜這う！ 万字硬核解读：“端到端”让特斯拉FSD V12迎来质变？

在2022的Q4财报会议上【OOMN-142】100cm越え 爆乳熟女を夜這う！，马斯克曾自信地声称在自动驾驶界限特斯拉处于遥遥最初的完全第一，“拿千里镜都找不到第二名”，彼时特斯拉的自动驾驶仍是跳票6年，《华尔街日报》委婉地线路不再信托马斯克……

一年后，特斯拉在2024年头运行在一定范围内推送FSD V12，并于同庚3月将FSD Beta更名为FSD Supervised，特斯拉智驾团队负责东谈主AShok Elluswamy在X（推特）上发文称基于“端到端”（“end-to-end”）的FSD V12在数月的老到时候内，仍是完全突出了数年聚积的V11。

图1.AShok Elluswamy在X（原推特）上发文

同期FSD V12的推出很快得到了业界的积极回话，英伟达CEO黄仁勋在接受外媒采访时高度评价“特斯拉在自动驾驶方面遥遥最初。特斯拉第12版全自动驾驶汽车简直具有转变性的一丝是，它是一个端到端的生成模子。”；

Michael Dell （戴尔科技集团董事长兼CEO）在X上线路“全新的V12版块令东谈主印象深化，它就像东谈主类司机一样”；Brad Porter（曾任Scale AI首席时间官、亚马逊机器东谈主副总裁）不异称“FSD V12就像是ChatGPT 3.5到来的时刻一样，它并不完满，但令东谈主印象深化，你不错看出这是完全不同的东西，迫不足待地期待它进化到GPT4那样”；

就连也曾对特斯拉“剑拔弩张”的小鹏汽车董事长何小鹏，在试驾完FSDV12后也在微博上评价“FSD V12.3.6发扬极好，要向其学习”，而况他还线路“本年的FSD和以前的Tesla自动驾驶从智商上完全是两个，我尽头援手”。

图2.英伟达CEO黄仁勋接受采访时线路特斯拉自动驾驶遥遥最初

那究竟是什么样的编削，让FSD V12如触类旁通般在短短几个月的时候就超越了夙昔数年的聚积？这一切都要归因于“端到端”的加入，而要想系统地了解特斯拉FSD V12前后版块翻天覆地的变化，则要从自动驾驶的基本框架以及FSD V12的前世讲起。

为了让寰球读完本文都能有所获利，我力图降维到小学生模式，在保证专科度的同期增多可读性，用脍炙生齿的抒发将自动驾驶的基本框架见识、FSD V12的前世今生讲了了，让莫得任何专科布景知识的小学生也能欢跃搞懂。

读完本文后，你会对当下自动驾驶行业最火且达成共鸣的“端到端”以及也曾爆火的“模块化”、“BEV鸟瞰图 +Transformer”、“Occupancy 占用麇集”等有关见识有澄莹的走漏。

除此之外，你还会了解特斯拉V12为何是打破性的、为何自动驾驶的ChatGPT时刻行将到来，同期你也会对当下自动驾驶行业发展到哪一步变成初步的判断。

著述有些长，但耐性读完后，一定有所获利。

初识自动驾驶：模块化到端到端

1.1 自动驾驶分级

在厚爱运行前，咱们需要对自动驾驶的举座框架有一个了解：面前被国表里平方接受的自动驾驶分级模范是SAE（外洋汽车工程学会）的分级，从L0-L5共6个级别，跟着级别的高涨，车辆对驾驶员手动济急采纳的需求越来越小，自动驾驶系统的功能也越来越都全，到了L4、L5级别后便不再需要驾驶员采纳驾驶（表面上在这两个阶段，处所盘、踏板都无需安设）。

图3.SAE J3016自动驾驶分级

L0级：无自动化

L1级：“部分目田司机双脚”辅助驾驶

L2级：“部分目田司机双手”（部分自动化）面前发展阶段

L3级：“部分目田司机双眼”（有条件自动化）面前发展阶段

L4级：“目田司机大脑”（高度自动化）

L5级：“无东谈主”（完全自动化）

1.2 自动驾驶狡计理念：模块化 vs 端到端

了解了了自动驾驶分级的基本框架后，咱们便需要进一步了解车辆是怎么完结自动驾驶的。自动驾驶的狡计理念不错分为两类，分别是传统的模块化狡计和端到端狡计。

在2023年特斯拉的标杆作用下，当今端到端自动驾驶仍是渐渐成为了行业和学术界的共鸣。（2023 年 CVPR 最好论文奖的 UniAD便领受的端到端，体现学术界对该狡计理念的认同；自动驾驶行业中，继特斯拉后，华为、联想、小鹏、蔚来等多家智驾公司纷纷跟进端到端，代表业界对该理念的认同。）

1.2.1模块化

图4.模块化架构欢跃线路图

在比拟两个狡计理念的优劣前，咱们启程点来拆解下什么是模块化狡计：它包含感知、决策计算、履行戒指三大模块（如图4所示），酌量东谈主员不错通过调试每个模块的参数来使车辆得当千般场景。

感知模块：负责汇集和证实车辆周围环境的信息，通过千般传感器（比如录像头、激光雷达、雷达、毫米波等）检测和识别周围物体（比如其他交通参与者、信号灯、谈路秀雅）——感知模块是自动驾驶的中枢，在端到端上车之前大部分的时间迭代都都集在感知模块，中枢方针就是让汽车的感知水平达到东谈主类水平，让你的汽车能够像你在开车时一样防护到红灯、加塞车辆致使是马路上的一条狗。

注：在给车辆提供感知信息的部分还包括定位部分，比如有些企业会使用高精舆图来笃定车辆在环境中的精准位置（但高精舆图成本高、且精准数据的获取有很浩劫度，不易引申）。

决策计算模块：基于感知模块输出的落幕，展望其他交通参与者的行为和意图，并制定车辆的行驶政策，确保车辆能到安全、高效、沸腾地到达方针地。这个模块就像是车辆的大脑（前额叶部分），随时把柄已输入的代码法规（Rule based）想考着最好的行驶旅途、何时超车/变谈、面对加塞车辆时是让照旧不让、在感受到红绿灯时是走照旧不走、在看到外卖小哥占谈行驶时是超照旧不超级问题。——在这部分车辆是基于代码法规来进行决策的，举一个最通俗的例子，车辆的代码写入红灯停绿灯行、见到行东谈主要让行的指示，那么在对应的场景下，咱们的汽车便会把柄提前写好的代码法规进行决策计算，但若是出现莫得写进法规的情况，那么咱们的车便不知该如何应付了。

戒指模块：履行决策模块输出的行驶政策，戒指车辆的油门、刹车和转向。若是说决策模块是大脑智囊的话，那么戒指模块就是听从军令的士兵，“指哪打哪”。

图4.详确的模块化架构线路图  贵府来源：国信证券

模块化的优转折

● 优点：可证实、可考据、易调试

■ 因为每个模块都是相对孤苦的，是以当咱们的车辆出现问题时咱们不错回溯究竟是哪个模块出现了问题；在出现问题后，咱们只需要在原有代码法规的基础上调整对应的参数即可，通俗来说“比如咱们自动驾驶的车辆在面对其他车辆加塞时，刹车过猛，那咱们只需要调整加塞情况下，车辆的速率、加快度该如何变化即可”。

● 转折：传递过程中信息损耗、任务多且散导致低效、存在复合差错、法规难以穷尽导致构建和调理成本高。

■ 信息在传递过程中存在损耗：传感器的信息从进入感知模块再到戒指模块输出，中间资格了多个要害，信息在传递过程中除了效用变低除外不可幸免地会有信息的损耗；举一个通俗的例子比如在寄语游戏中，第一个东谈主说的是“你好”，经过中间几个东谈主的传递后，到终末一个东谈主那边可能变成风牛马不相及的“李吼”。

图5.寄语游戏线路图

■ 法规难以穷尽导致构建和调理成本高：寰球若是领略了模块化的基本逻辑后，便知谈模块化是基于法规的，车辆在谈路上作念的扫数决策背后都是一条一条的法规，而法规的背后则是一条一条的代码，步伐员提前将谈路上的法规以代码的步地写好，车辆在对应情况的时候便把柄写好的法规遍历扫数可能选出最优解，进行决策进而遴选相应的行为。

说到这里寰球可能以为没什么，咱们平直把肖似于红灯停、绿灯行的这些法规都写进去不就好了，关联词工程师很难穷尽路上的扫数情况，因为真实的物理宇宙是一直在变化的，有无数种陈设组合，咱们只可预期到老例的事情并把它写进法规中，但是小概率的顶点事件亦然会发生的（比如谈路上倏得出现一只山公在和东谈主打架），是以依靠代码堆叠法规到终末只可苦叹一声“东谈主力有时穷”。

1.2.2 端到端

讲完结模块化，咱们接下来就看下面前行业最招供的端到端究竟是何如一趟事儿。所谓端到端（End-to-End）就是信息一头进入一头输出，中间莫得各个模块传输来传输去，一站式措置。

也就是基于调治的神经麇集从原始传感器数据输入平直到戒指指示输出的连气儿学习与决策过程，过程中不触及任何显式的中间线路或东谈主为狡计的模块，不再需要工程师东谈主为写无尽尽的代码了，除此之外；其另一个核阵势念就是无损的信息传递（本来可能是多东谈主寄语游戏，端到端就变成了你说我听）。

图6.模块化vs端到端架构欢跃线路图

我列举两个例子来给寰球老师模块化和端到端的区别：模块化狡计理念下的车辆就好像是在驾校学车的、莫得自主坚贞、且不会主动效法学习的生人司机，西宾说作念什么他就作念什么（编写代码法规），西宾跟它说红灯要停驻来、碰到行东谈主要礼让，它就按照西宾的说法作念，若是碰到西宾没说过的事儿，它就愣在那边不会处理了（武汉“芍萝卜”）。

而端到端狡计理念下的车辆则是一个领有自主坚贞而况会主动效法学习的生人司机，它和会过不雅察别东谈主的驾驶行为来学习，最运行它就像一个菜鸟一样，什么也不会，但是它是个勤学的孩子，在给它不雅看了成百上千万的优秀老司机何如开车的视频后，它渐渐就变成了简直的老司机，然后它的发扬只可用一个字来形容，那就是“稳”！

图7.模块化vs端到端 贵府来源：Li， Xin， et al. Towards knowledge-driven autonomous driving 华鑫证券酌量

如图7所示，基于一条一条代码法规驱动的模块化狡计理念的车辆，读到大学就无法再往上进修了，而基于数据驱动（给车辆看的老司机开车的视频就是所谓的数据）的端到端天然初期是在小学，但它具备很强的成长性和学习性（强化学习和效法学习），不错很快地进修到博士。

（就像余承东评价“Fsd下限低，上限高那样”，但只须你有填塞多的数据，赐与它填塞多的老司机驾驶的视频，它未便不会停留在低水平太永劫候）。

天然，面前围绕端到端的基本界说仍然存在争议，“时间原教旨主义者”认为，市面上许多公司宣传的“端到端”并不是简直的端到端（比如模块化的端到端），他们认为简直的端到端应该是全局端到端，从传感器输入到终末戒指信号输出，中间扫数法子都是端到端可导的，可进行全局优化;

而“实用主义者”则认为只须基本旨趣相宜，能让自动驾驶车辆的性能发扬训导就不错。

端到端的三大差异

有的一又友看到这里可能有些懵，端到端也有不同差异？是的没错，面前端到端主要不错差异红三类（面前存在多种不同差异，为了便于寰球领略，本文只列举英伟达GTC大会的差异），如图8所示不错分红显式端到端【OOMN-142】100cm越え 爆乳熟女を夜這う！、隐式端到端、基于谎言语模子的端到端。

图8.端到端自动驾驶算法变成三大落地步地 贵府来源：英伟达GTC大会、开源证券酌量所整理

显式端到端

显式端到端自动驾驶将原有的算法模块以神经麇集进行替代，并贯串变成端到端算法。该算法包含可见的算法模块，不错输出中间落幕，当进行故障回溯时不错一定进程上进行白盒化调整。在这个情况下，便不再需要工程师一瞥一瞥去敲代码来撰写法规了，决策计算模块从手写法规向基于深度学习的模式进行飘浮。

看起来有些抽象难解，咱们用大口语来讲的话就是端到端了但又莫得完全端到端（也叫作念模块化的端到端），而所谓的白盒其实是联系于黑盒而言的，在后头隐式端到的部分我会用生人司机的例子来张开讲，这里看不懂没联系不错先行跳过。

得回2023年CVPR最好论文的UniAD模子就是领受的显式端到端，如下图所示，咱们能够较着不雅察到各个感知、展望计算等模块领受了向量的形貌进行贯串。

注：骄横端到端需要聚集隐式端到端全部领略，不要孑然开；显式端到端还不错差异为感知端到端、决策计算端到端

2023年CVPR最好论文：典型的模块化骄横端到端UniAD架构图 贵府来源：Hu， Yihan， et al. Planning-oriented autonomous driving.

隐式端到端

隐式的端到端算法构建举座化的基础模子，利用海量的传感器接纳的外部环境数据，忽略中间过程，平直监督最终戒指信号进行老到。“时间原教旨主义者”认为如图9这么的传感器信息一头进入另一头平直输出戒指信号的端到端才是简直的端到端，中间莫得任何非凡模块。

前边咱们提过显式端到端，通过比拟图8和图9，能够看出较着的区别就是：隐式一体化的全局端到端中间莫得各个模块，独一神经麇集存在（传感器就是它不雅看宇宙的形貌，中间的端到端系统就是它的完整的大脑，处所盘、刹车油门就是它的动作）；

而显式端到端不同的地方在于它把中间完整的大脑按照模块化的形貌给分开了，天然它不再需要编写代码去学习千般各样的法规，仍是渐渐不错通过不雅看老司机视频的形貌学习，但是，它依旧是分模块去作念的，是以月旦的声息会认为其不是简直意旨上的端到端。

但这么作念也有它的公道，咱们在前边提到过显式端到端在一定进程上是白盒的，这是因为当咱们的车辆通过学习走漏出一些咱们不生机的倒霉行为时，咱们不错回溯究竟是哪个模块的端到端出现了问题，而作为黑盒模子的隐式端到端则无从下手，因为它是完全一体化的，创造它的东谈主也不知谈它为什么会这么作念（这就是寰球老在网上听到的黑盒的随机真谛）。

图9.隐式端到端 贵府来源: PS Chib， et al. Recent Advancements in End-to-End Autonomous Driving using Deep Learning: A Survey

 

生成式AI大模子的端到端

ChatGPT为自动驾驶带来了极大的启发。它诈欺无需标注且成本便宜的海量数据进行老到，还具备东谈主机互动以及回答问题的功能。自动驾驶不错效仿这种东谈主机互动的模式，输入环境方面的问题，它平直输出驾驶决策，通过基于谎言语模子的端到端来完成这些任务的老到运算。

AI大模子的主要作用有两点，一是不错低成本生成海量接近真实的、包含Corner Case（自动驾驶过程中很少出现但可能导致危急的格外情况）的千般化老到视频数据，二是领受强化学习的方法来达到端到端的成果，从视频感知到平直输出驾驶决策。

其中枢就是模子不错通过天然数据我方推理学习因果，不再需要标注，模子举座的泛化智商得到大幅度训导，肖似ChatGPT那样，以自追溯的形貌从上一个场景展望下一个场景。

让咱们用更通俗的话来讲一下大模子关于端到端的伏击性：

面前自动驾驶数据库的价值极低：通常包括两种数据，一种是正常行驶情况，千人一面，占公开数据约 90%，如特斯拉影子模式。马斯克承认这种数据价值较低，有用性可能仅万分之一致使更低。另一种就是事故数据即失实示范。用其作念端到端老到，要么只可得当有限工况，要么会出错。端到端是黑盒子，无法证实、独一有关性，需高质料、千般化的数据，老到落幕才可能好点。

端到端需先解决数据问题，靠外界采集不太可行，因为成本高、效用低且费劲千般化和交互（自车与其他车辆、环境的交互，需腾贵东谈主工标注），因此引入生成式AI大模子，它能制造海量千般化的数据，减少东谈主工标注，裁减成本。

除此之外谎言语模子端到端的中枢逻辑是展望将来发展，实质是习得因果联系。面前神经麇集与东谈主类有差距，神经麇集是概率输出，知其关联词不知其是以然；东谈主类可通过不雅察及无监督交互学习物理宇宙运行学问，能判断合理与不可能，通过小数锻练学习生人段并展望自身行为后果。

而生成式AI端到端大模子就是但愿神经麇集也具备像东谈主类这么举一反三的智商。

举个例子来说：咱们东谈主类司机校服会碰到一些莫得见过但可能有危急的情况，天然莫得资格过，但是通过往的告诫咱们不错推断出这个情况作念什么能力保住小命（比如咱们可能都莫得资格过路上出现一个霸王龙的景色，但当霸王龙竟然出现后，咱们校服会抓紧开车潜逃），通过过往告诫推断并判断行为合理与否，这就是咱们但愿谎言语模子端到端作念的事情，但愿咱们的车辆简直地像东谈主一样开车。

宇宙模子应用于自动驾驶的详尽解决决议 贵府来源: Guan， Yanchen， et al. "World models for autonomous driving: An initial survey."

面前由于特斯拉还未召开第三次AI Day，是以咱们暂时不了了特斯拉端到端的具体麇集架构，但是把柄特斯拉自动驾驶负责东谈主Ashok在2023CVPR以及马斯克本东谈主的一些回复，不错推断特斯拉的端到端模子很有可能是基于谎言语模子的端到端（World model）。（期待特斯拉的第三次AI Day）

端到端的优转折

图10.端到端架构欢跃线路图

● 优点：无损的信息传递、完全由数据驱动、具备学习智商更具范化性

■ 跟着感知、决策计算端到端自动驾驶旅途渐渐澄莹，端到端为迈向L4无东谈主驾驶提供了假想空间。

● 转折：不可证实、参数过大，算力不足、幻觉问题

■ 若是你用过ChatGPT之类的谎言语模子，那你就会知谈有些时候它会一册端庄的瞎掰八谈（也就是幻觉问题），聊天时瞎掰八谈无关痛痒，但是！若是在马路上，你的车辆一册端庄的胡乱开，然而会要东谈主命的！而且因为黑盒问题，你还没办法回溯原因所在，这是就是面前端到端急需解决的问题，面前常见的解决决议就是加入安全冗余。

图11.华为ads3.0本能安全麇集

■ 除此之外，端到端落地不异还濒临着算力和数据的重大需求，把柄辰韬本钱的答复骄横，尽管大部分公司线路 100 张大算力 GPU 不错解救一次端到端模子的老到，但这并不虞味着端到端进入量产阶段只需要这一数目级的老到资源。大部分研发端到端自动驾驶的公司面前的老到算力范围在千卡级别，跟着端到端渐渐走向大模子，老到算力将显得捉衿肘见。

而算力的背后就是钱，就像联想汽车的郎咸一又说的那样，“智能驾驶将来一年10亿好意思元仅仅入场券”。

讲到这里，咱们便把自动驾驶最基础的一些框架性内容讲完结（因为篇幅有限，故只包含了一小部分），从历史的眼神回头看，自动驾驶的逾越基本上就是沿着特斯拉既定的道路往前走的（这中间各个厂商会在其原有道路的基础上有所创新，但实质并未偏离），从某种进程上来说，随机能跟住特斯拉自己就是一种智商。

接下来，我将会从模块化和端到端的发展给寰球张开讲一下特斯拉FSD V12的前世今生。

特斯拉FSD的前世今生 能跟住特斯拉自己就是一种智商？

2.1特斯拉FSD V12的前世

特斯拉智能驾驶的发展史在一定进程上响应了自动驾驶行业最伏击的一条道路的发展史，在2014年时，特斯拉发布第一代硬件Hardware 1.0，软硬件均由Mobileye（一家以色列的汽车科技公司）提供，关联词举座配合跟着2016年特斯拉“全球首宗自动驾驶致命事故”而落幕（这里的中枢原因在于Mobileye提供的是阻塞黑盒决议，特斯拉弗成修改其中的算法，而且还弗成与Mobileye分享车辆数据）。

图12.特斯拉智能驾驶发展历程 贵府来源：特斯拉官网、国信证券酌量所

2016到2019则是特斯拉的自研过渡期。在2019年Hardware升级到了3.0版块，而况领受第一代自主研发的FSD1.0芯片，增多了影子模式功能，匡助特斯拉汇集大都的自动驾驶数据，为其纯视觉道路打下基础。

2019到2024FSD V12.0大范围引申前，是其全面自研时期，2019年算法架构向神经麇集升级建议HydraNet九头蛇算法，2020运行聚焦纯视觉-，并在2021和2022的AI Day上接连公布了BEV和Occupancy麇集架构，在北好意思考据了BEV +Transformer+Occupancy的感知框架，国内厂商运行纷纷跟进（这中间差了1-2年傍边）。

咱们在前边提到过，模块化智能驾驶狡计理念中最中枢的部分就是感知模块，也就是咱们要如何让车辆更好地领略传感器（录像头、雷达、毫米波等）输入的信息，而上头所提的一堆见识以及特斯拉在FSD V12版块之前作念的大部分事情都是在让感知模块变得更智能，从某种进程上不错领略为让感知模块走向端到端，因为要想让车能够自动驾驶，第一步就是让它真实客不雅地感受这动态变化的物理宇宙。

其次才是给它制定行驶法规（决策计算模块），而决策计算模块较为传统，领受蒙特卡洛树搜索+神经麇集的决议（肖似谷歌AlphaGo下围棋的决议），快速遍历扫数可能性找出胜率最高的那条旅途，其中包含了大都东谈主为输入的代码法规，即把柄大都事前设定的东谈主为法规来在谈路中遐想并遴荐最好的轨迹（驯顺交规且不碰撞其他交通参与者），而戒指模块更多是油门刹车处所盘等硬件层面的事情。

因为感知模块是逾越变化最中枢的部分，接下来我会尽量用脍炙生齿的话老师其中包含的这些见识的基本作用，以及它们分别解决了什么问题（因为翰墨篇幅有些，是以有所精简）。

2.1.1特斯拉FSD感知侧的进化

2017年，之前在斯坦福任教的Andrej Karpathy加入特斯拉，秀雅着特斯拉感知侧端到端的进化拉开序幕：

（1）HydraNet九头蛇算法—2021年特斯拉AI DAY公布

HydraNet是特斯拉迷惑的一种复杂的神经麇集，用来匡助汽车“看见”和“领略”周围的环境。HydraNet这个名字来源于希腊据说中的九头蛇“Hydra”。这个麇集系统也像多头蛇一样，有多个“头”不错同期处理不同的任务。这些任务包括物体检测、红绿灯识别、车谈展望等。而它的三大优点就是特征分享、任务解耦、能缓存特征更高效微调。

特征分享：平庸来讲就是基于HydraNet的骨干麇集backbone处理最基本的信息，然后再把处理过的信息分享给它的不同小脑袋（head），公道在于每个“小脑袋”毋庸重复处理调换的信息，不错更高效地完成各自的任务。

任务解耦：将特定任务与骨干分离，能够单独微调任务;每个“小脑袋”挑升负责一种任务，比如一个负责识别车谈线，另一个负责识别行东谈主，等等。这些任务之间互不烦嚣，各自孤苦完成。

能缓存特征更高效微调：通过限定信息流动的复杂度，确保独一最伏击的信息传递给各个“小脑袋”，这个“瓶颈”部分能够缓存伏击特征，并加快微调过程。

图13. HydraNet九头蛇框架 贵府来源：2021特斯拉AI Day

（2）BEV（Birds’Eye View鸟瞰视角+Transformer）—2021年特斯拉AI DAY公布

平面图像走向3D鸟瞰空间

HydraNet帮自动驾驶的车辆完成了识别的责任，而关于车辆周围环境的感知则由BEV（Birds’Eye View鸟瞰视角）+ Transformer完成，两者的聚集匡助特斯拉完成了将八个录像头捕捉到的2维平面图片调度为3D向量空间的责任（也不错由激光雷达完成，但激光雷达的成本要远远高于录像头）。

鸟瞰图是一种从上往下俯瞰的视角，就像你在高空中俯瞰大地一样。特斯拉的自动驾驶系统使用这种视角来匡助汽车领略周围的环境。通过将多个录像头拍摄到的图像拼接在全部，系统不错生成一个完整的谈路和周围环境的平面图（2D）。

而Transformer能将来自不同录像头和传感器的数据有用融会，像一个超级贤达的拼图妙手，将不同角度的图像拼成一个完整的环境视图。将这些平面视角数据融会成一个调治的3D视角的鸟瞰图景。这么，系统不错全面、准确地领略周围的环境（如图14所示）。

图14.平面图调度为3D“向量空间” 贵府来源：特斯拉AI Day

而且BEV+Transformer不错吊销粉饰和重复，完结“局部”端到端优化，感知和展望都在销毁个空间进行，输出“并行”落幕。

哥也操

图15.BEV+Transformer 贵府来源：2021特斯拉AI Day

（3）Occupancy Network占用麇集——2022年特斯拉AI DAY公布

Occupancy占用麇集的加入让BEV从2D变成了简直意旨上的3D（如图16所示），而况在加入时候流信息（基于光流法）之后，完成了由3D向4D的过度。

图16.Occupancy占用麇集使EVE变成简直的3D

Occupancy Network占用麇集引入了高度信息，完结了简直的3D感知。在之前的版块中，车辆不错识别老到数据都集出现的物体，但关于未见过的物体则无法识别，而且即使领略该物体，在BEV中也只可判断其占据一定进程的方块面积，而无法获取施行步地。Occupancy麇集通过将车辆周围的3D空间差异红许多小方块（体素），完结了对每个体素是否被占据的判断（其中枢任务不在于识别是什么，而是在于判断每一个体素中是否有东西被占据）。

这就像你在迷雾中开车，天然看不了了前边是什么，但你随机知谈前边有扼制物，你需要绕夙昔。

Occupancy Network亦然通过Transformer来完结的，最终输出Occupancy Volume（物体所占据的体积）和Occupancy flow（时候流）。也就是隔壁的物体占据了多大的体积，而时候流则是通过光流法来判断的。

图17.光流法

光流法假定组成物体的像素亮度恒定且时候连气儿，通过对比连气儿两帧图像中的像素位置变化，最终带来了4D投影信息。

图18.投影信息

（4）特斯拉引颈感知时间敛迹，国内头部厂商连续随从

寰球读到这里可能莫得很平直的触感，但我给寰球列举几个直不雅数据

● 2021年FSD V9，第一届AI Day公布BEV麇集，国内2023年BEV架构运行上车。

● 2022年第二届AI Day特斯拉公布Occupancy Network占用麇集，2023-2024年国内Occupancy占用麇集运行上车。

● 2023年特斯拉告示FSD V12领受端到端时间，2024年国内厂商纷纷跟进（领受模块化的端到端）。

图19.国内厂商举座逾期特斯拉1-2年 贵府来源：腾讯科技 涵清 整理绘图

BEV+Transformer解决了自动驾驶车辆对高精舆图依赖的问题：高精舆图和咱们日常用的高德、百度舆图不一样（如图20所示），它精准到厘米级别而况包括更多数据维度（谈路、车谈、高架物体、防护栏、树、谈路边际类型、路边地标等数据信息）。

它的成本是很高的，需要时常刻刻保证舆图厘米级别的精准性，关联词谈路的信息老是会有变化的（比如临时施工），是以就需要永劫候进行采集测绘责任。而想依靠高精舆图完结扫数城市集景的自动驾驶，是不现实的。寰球当今应该不错在一定进程上领略BEV带来的孝顺了（注：特斯拉Lane神经麇集不异是解脱高精舆图的关键算法，由于篇幅限定，这里不作念过多论说）

图20.高精舆图和普通舆图对比

Occupancy Network占用麇集解决扼制物识别率低的问题：将识别的物体变成4D，不管车辆周围有什么东西，不管它领略与否，它都不错将其识别出来，幸免碰撞问题。而在此之前，车辆只可识别老到数据都集出现过的物体。Occupancy Network占用麇集一定进程上领导自动驾驶上完结了依靠神经麇集的感知侧端到端，意旨要紧。

2.2特斯拉FSD V12的今生

在著述起首咱们提到：特斯拉智驾团队负责东谈主AShok Elluswamy在X（推特）上发文称基于“端到端”（“end-to-end”）的FSD V12在数月的老到时候内，仍是完全突出了数年聚积的V11。

AShok Elluswamy在X（原推特）上发文

再聚集业内一众大佬对FSD V12的高度校服，不错看出FSD V12和V11不错说是两个东西，因此我以V12为分界线将其分为前世今生。

把柄表1不错看出自从，FSD V12上车之后，其迭代速率远远快于之前，30多万行的C++代码缩减到几千行，不错在酬酢媒体上看到糜费者、从业者都常常线路特斯拉FSD V12的发扬更像东谈主了。

表1.FSD迭代版块 贵府来源：特斯拉AI Day、马斯克推特、中泰证券，腾讯科技 涵清 整理绘图

特斯拉究竟是如何完结的调动咱们不知所以，但是从AShok Elluswamy在2023 CVPR的演讲上随机不错推断其端到端的模子很有可能是在原有的Occupancy的基础上构建的。“Occupancy模子施行上具有尽头丰富的特征，能够捕捉到咱们周围发生的许多事情。通盘麇集很大一部分就是在构建模子特征。”

从举座想路来看，国内模块化的端到端可能和特斯拉构建的大模子端到端存在一定离别。

由于前文仍是大致讲过什么是端到端，因此咱们这里不再过多赘述，接下来我想要跟寰球聊下为什么说在这场自动驾驶的竞赛中，特斯拉面前是处于最初的位置，咱们不错通过客不雅数据来进行对比。

开启端到端时间后，车企端到端的智驾水平主要由三约莫素决定：海量的高质料行车数据、大范围的算力储备、端到端模子自己，与ChatGPT肖似，端到端自动驾驶也遵命着海量数据×大算力的暴力好意思学，在这种暴力输入的加持下，可能倏得走漏出令东谈主惊艳的发扬。

图21.端到端时间智驾水平

由于不知谈特斯拉是如何完结其端到端的，是以咱们这里只商讨数据和算力

2.2.1特斯拉构建的算力壁垒

FSD的发展史不错说是其算力聚积的发展史，2024年头，马斯克在X（原推特）上线路算力制约了FSD功能的迭代，而3月运行，马斯克线路算力不再是问题了。

图22.马斯克在X上的推文

Dojo芯片参加量产后，Tesla由原先A100集群不到5EFLOPS的算力范围飞快训导到全球算力前5水平，并有望于本年10月达到100EFLOPS的算力范围，约30万张A100的水平。

图23.特斯拉算力变化弧线图 贵府来源：特斯拉

再对比国内厂商的算力储备（如图24所示），不错看到在千般现实要素限定下，中好意思智能驾驶算力储备方面的差距照旧较为较着的，国内厂商任重谈远。

图24.特斯拉和国内智驾企业算力对比图 贵府来源：汽车之心、公开贵府、甲子光年智库，由腾讯科技 涵清 整理绘图

天然算力的背后还意味着重大的资金参加，马斯克在X（原推特）上线路本年将在自动驾驶界限投资超100亿好意思元，也许真像联想汽车智能驾驶副总裁郎咸一又说的那样，“将来一年10亿好意思元仅仅入场券”。

图25.马斯克线路将于2024投资超100亿好意思元在自动驾驶界限

2.2.2特斯拉的高质料数据

端到端的智能驾驶就像一个后劲极高的小天才，你需要给它投喂大都高质料的老司机驾驶视频，能力让它快速地成长成开车界限的博士生，而这又是一个浪漫出遗迹的过程。

马斯克在财报会中提到老到模子所需的数据：“100万个视频 Case 老到，拼集够用；200万个，稍好一些；300万个，就会感到Wow；到了1000 万个，就变得难以置信了。”而老到仍需要优质的东谈主类驾驶行为数据，得益于特斯拉自身的影子模式，数百万辆量产的车辆不错匡助特斯拉汇集数据，而况特斯拉在2022AI Day时便公布其确立了全面的数据老到进程：

涵盖了数据采集、模拟仿真、自动标注、模子老到和部署等要害。放弃2024年4月6日，FSD用户的累计行驶里程已超10亿英里。而国内任何一家厂商用户的累积行驶里程都较其出入甚远。

而数据质料和范围要比参数更能决定模子的发扬，Andrej Karpathy也曾线路过特斯拉自动驾驶部门将3/4的元气心灵用在采集、清洗、分类、标注高质料数据上，独一1/4用于算法探索和模子创建。由此可见数据的伏击性。

特斯拉正一步步探索自动驾驶的“无东谈主区”，将范围和智商推向极致。

图26.FSD用户累计行驶里程突出10亿英里

结      语

天然，最终成果照旧要看车辆的施行登程发扬。特斯拉 V12 运行的区域主要都集在好意思国，而那边举座的谈路交通景况较好，不像国内，行东谈主、电动车随时可能倏得窜到马路上。不外从时间角度而言，一个能在好意思国熟练开车的东谈主，没兴致到中国就不会开了。何况学习智商是其中枢特色之一，随机初步落地时发扬不如在好意思国脉土那般出色，但参考FSD V12.5 之前的迭代时候，可能半年到一年后它就能得当中国的谈路情况了。

这对国内厂商的影响颇为要紧，就看无边智驾企业将如何应付特斯拉这个已在好意思国得到考据的 FSD V12 了。

本文作家：涵清【OOMN-142】100cm越え 爆乳熟女を夜這う！，来源：腾讯科技，原文标题：《万字硬核解读：“端到端”让特斯拉FSD V12迎来质变？》

风险提醒及免责要求 市集有风险，投资需严慎。本文不组成个东谈主投资建议，也未接头到个别用户特殊的投资方针、财务景况或需要。用户应试虑本文中的任何意见、不雅点或论断是否相宜其特定景况。据此投资，包袱闲逸。