端到端的风口,不会让所有人都能走过这道窄门。
“端到端,不养闲人。”
做自动驾驶相关研发五年的王军,说自己的焦虑从端到端技术开始走热就有了,今年1月,特斯拉发布“端到端”的技术,一句“更像是人类在驾驶汽车”,让自动驾驶的江湖,再起风云。
“端到端”来了,技术路线变了,打破了传统架构中模块化方案的解决思路,原有的规则被抛弃。作为规控工程师,王军也没预料到不到两年的时间,自己从年薪百万的香饽饽变成了难保饭碗的“闲人”。
王军说,他不是个例。端到端的秋风,吹向了智驾工程师们,焦虑着自己何时被“被秋风扫落叶”。工程师们的焦虑有两层,一层来自自己,一层来自公司。
来自自己,是因为一旦端到端方案向全行业普及,积累多年的技术栈将面临被淘汰的风险,多数工程师都要卷铺盖走人。“自己能不能成功切换赛道,加入端到端,很未知。”
来自公司,是因为端到端技术需要持续的高昂研发成本,以及与时间赛跑的量产竞赛,这是一个漫长且费钱的过程,传统技术栈在端到端架构中能否有用武之地,企业能否保持竞争力,也是未知。
所以,就像硬币的AB面。A面是端到端的概念炒得热火朝天,B面是智驾工程师们的自问。“端到端,会‘杀死’多少自动驾驶工程师?”
王军的答案是,端到端的风口,不会让所有人都能走过这道窄门。
曾被需要,又将被抛弃?
特斯拉用“端到端”再次搅动自动驾驶江湖之前,车企的路线,都在用模块化做自动驾驶。
这个路线,对中国车企来说,是契合的,可以用人海战术,处理各种corner case。就像激光雷达,中国企业用工程师人数红利和供应链优势,就把欧美玩家卷到“破产”的比比皆是。
在端到端技术走热之前,一位特斯拉FSD工程师曾这样形容华为的智驾团队,“华为自动驾驶有6千个工程师,主要用来写各种规则,因为 rule-based (基于规则)环境太复杂,总有新的 task (任务)出现。”
这几年,自动驾驶的人才市场可谓是兴盛,智驾的工程师们只要有过一两个量产项目的经验,年薪百万级别都很常见。曾有自动驾驶领域的猎头说,“地平线和禾赛这样的公司,研发团队的人均薪资基本到百万了。”
就算人力资本昂贵,每家的智驾团队规模都很庞大。头部公司有四五千人,六七千人都不意外,“穷一点”的公司,也有上千人。
为什么需要这么多人?
因为在端到端之前,自动驾驶的研发有一个难解的困顿。模块化的自动驾驶,由于感知、规划、决策各个模块是单独开发和优化的,系统的集成就变得非常复杂,自动驾驶写规则需要面对所有的Corner case。
比如,算法工程师告诉机器这是侧翻的卡车,遇到了要提前避让,但是万一遇到的侧翻的轿车,就需要打新的补丁。理论上来说,只要设定的规则足够多,覆盖的场景就足够多。
奈何,Corner case实在太多,且复杂。比如,“道路上的积水”、“飘来的塑料袋”,等等一些复杂环境理解能力的场景,很难用规则准确描述,有些开发工程量很大。
所以,业内有言,“有多少人工,就有多少智能”。底层逻辑在于,通过代码解决问题时,需要工程师研究所有的场景数据,甚至于需要1-5个工程师一周的时间去解决几个问题。
“工程师的人效,决定着系统的智能程度。”王军说,想在自动驾驶赢到最后的企业,团队规模都不在少数。
手里握着庞大的智驾团队规模的余承东曾说压力很大,华为自动驾驶每年花费10亿美元,累计支出超百亿。腾势汽车销售事业部总经理赵长江曾透露,比亚迪在智能驾驶领域拥有超过4000人的团队,软件工程师就有3000人,一个月发工资,自动驾驶团队要10亿元。就连此前在自动驾驶上投入不高的理想,也曾有过1300人的智驾团队。
“在模块化的架构下,一位工程师一天只能处理10多个case,效率不高。”自动驾驶企业元戎启行CEO周光说,算法工程师们,不可能把所有的 corner case 都穷举完。原因是,工程师写代码的速度,赶不上场景中出现问题的速度。
智驾老兵小鹏也表达过一样的观点。“小模型时期,环岛、窄路、小路、调头、大路口等场景非常难,可能要花3~5 个月。”小鹏汽车副总裁、自动驾驶负责人李力耘表示。
通过各个小模型规则的耦合是无法解决所有问题的,因为模型之间本身要传递更多信息。但是场景复杂多变,被车企推崇的城区智驾一直处于成本、体验和效率的“不可能”三角当中。
在车企一边苦恼自动驾驶的钱投入越来越多,一边苦恼补丁越打越慢,成本难以收回的时候,特斯拉又充当了“鲶鱼”。
端到端,三个字,让烧钱却无解的情况有了改变。
“不需要养几千人去搞corner case”
知乎上,有个自嘲的调侃,“没想到,最先被自动驾驶技术优化掉的,并不是司机们,而是为自动驾驶技术掉光头发的算法工程师们。”
算得上一个地狱笑话了。王军说,这个笑话他一点也不敢笑。
虽然,还在争论什么系统才是真正的端到端,也没有明确的量产落地路线,但是传统智驾技术栈,已经被归为“冷兵器时代”。这个名词,一听还有点“上个世纪”的味道。
“端到端”本质上是一个黑盒,以往模块化的、规则驱动主导的技术体系,被推倒重构。英伟达汽车事业部副总裁吴新宙认为,端到端正是智驾三部曲的最终曲,同济大学汽车学院教授朱西产表示,“端到端”是实现自动驾驶唯一的计算路线。
触觉敏锐的小鹏迅速改弦易辙,自动驾驶团队的重心转向端到端路线。李力耘曾在采访时被问到,在传统技术栈积累的那么多“武林高手”,还用得上吗?
李力耘也承认,原来工程化能力拼的是招募和堆砌各种方向的工程师,只要凑齐了就可以打。但是,进入端到端,玩法变了,“AI大模型”,就是对此前积累的扬弃。
朱西产表示,“人工准则模型”拼人力,“AI模型”的训练测试拼数据和云平台算力。端到端最直接的变化是,不再需要穷尽算法解决Corner Case 。
马斯克在直播中表示提到过,FSD Beta V12从头到尾都是通过AI实现。“我们没有编程,没有程序员写一行代码来识别道路、行人等概念,全部交给了神经网络自己思考。V12的C++代码只有2000行,而V11有30万行。”
就是说,从传统模块化转向端到端后,特斯拉的FSD所需要的代码,不到原来的1%。与此同时,在信息传递过程中,再也不用为了能让感知和规控必须“对齐颗粒度”,费尽心思。
“对神经网络来说,不同模态的数据都可以被表示成一种标准结构,只要把时间同步做好,甚至不对齐也可以,因为它可以自己学。”一家头部科技公司工程师表示。
成为多家车企供应商的商汤科技提出的一体化方案,整个系统中需要人工手写代码维护的比例,降到了最低,总共只有几千行代码的体量。
不需要那么多代码,自然也就不需要那么多“写规则”的工程师了。“端到端大模型本身不需要这么多人”,这个认知,让数量庞大的工程师们感到焦灼。
据悉,特斯拉自动驾驶算法团队300人左右,除去芯片设计端的100多人,软件端只有不到200人,负责规划控制的负责人离职了。之前,特斯拉一直不愿意向中国团队开放代码阅读权限,端到端之后,已经不需要国内工程师了,国内只需要标注即可。
“不需要养几千人的团队去搞Corner case”。理想创始人李想认为,所有自动驾驶团队,每天干的活都是靠人工去调试各种各样的corner case,而且放的人越多,corner case越多,和真正的自动驾驶就越遥远。
这话也从侧面印证了智驾团队正在被“优化”。小鹏、蔚来、比亚迪等车企智驾部门都成立了独立的端到端团队,随之而来的是“不被需要”的重石,砸在了自动驾驶工程师的头上。
由于过去小模型方式,导致一些工程师都只擅长自己专精的领域,“被优化掉”的危机,逼迫到了眼前。从猎头方面给出的信息是,现在很多智驾团队的招聘,都是僵尸岗位,车企智驾团队也不再放出新岗位。
不过,对于不同领域的工程师而言,端到端技术带来的冲击深浅不一。从目前的局面来看,传统做Rule-Basd算法的人员,还没有发生大规模裁员,剧烈的职位动荡发生在规控岗位。
传统的规控算法工程师主要有几个方向:路径预测、路径优化、规则后处理,以及车辆控制。对规控算法工程师而言,如果要加入端到端,几乎是重新切换赛道。
端到端之后,华为乾崑ADS 3.0采用全新架构,这一架构去掉BEV,只保留一张GOD网络,决策、规划合为一张PDP网络。类似的整合,频繁发生。
王军所在的工程师团队也被进行了分化,一部分去做量产交付,另一部分转向端到端。让那些只会写规则人在短时间内向端到端演进,有难度。但是不想被优化,只能学,不转的话就已经被落下了。
“传统技术栈被淘汰的会越来越多。”王军很焦虑。
传统技术栈“不能完全抛弃”
端到端之下,转型期已经开启。为了穿越窄门,自动驾驶团队都牟足了劲。
虽然,端到端的技术风口,不会等待岔路口上的每一个人,要么拥抱端到端,要么几年后离开智驾行业,但也不意味着完全抛却这些智驾老兵。
与传统的技术方案相比,端到端往往被认为上限高、下限低。目前的端到端路线尚且明确,是一体化更犀利,还是分段式更锋芒?各说纷纭。
一位自动驾驶公司产品负责人曾表示,“分段式会向一段式发展,代价是,需要进行更多数据处理,以及更多训练资源。从分段式到一张网,需要很长时间,要看有没有足够的钱。”
现在的局面是,特斯拉摸着石头过河,别人摸着特斯拉过河,无论是一体式,还是分段式,现阶段的端到端还是一个需要老师傅手工打磨的工艺,并不是完全输入信息,输出结果的自动工厂。
虽然,很多玩家都表示要ALL IN端到端,但是真正的端到端系统需要三要素,团队领头羊、数据和算力。
车企需要收集庞大的数据,用于解决场景问题的大量数据当模型,再训练。只要上千小时的视频数据,就可以训出来一个端到端demo。但是,从demo到量产,还有相当大的差距,训练出来的模型的质量能否完成量化、部署、仿真验证、上车,整个链条非常长。
“数据收集之外,工程能力还体现在大数据体系的建设、算力部署能力,这都不是一件容易的事。”李力耘表示。端到端智驾需要的视频数据获取成本和难度极高,数据质量要求也很严苛。
一位自动驾驶工程师提到,在训练端到端模型时发现,已有路测数据只有2%可以用。模仿学习面临的最大挑战是,数据匮乏带来的误差累积和泛化问题。
再加上,端到端大模型输出的轨迹还不够成熟,仍需要工程师要写规则兜底,传统的技术栈在新架构下仍然会有用武之地。
比如,和BEV有关的技术栈仍然在被当下前沿的架构所应用,油门和刹车的控制模块,目前也是采用传统的方式来做,车企还是需要在基于传统规则的安全模块上投入、兜底。
“端到端部门都还刚起步,目前还需要传统智驾部门做算法场景覆盖,保证自动驾驶安全的下限。”有车企的自动驾驶工程师表示。
“对现阶段智驾而言,每个细节的转弯、避让、减速,靠Transformer或端到端做不到。要靠大量工程师在大量场景里,去做苦活脏活累活,才能去真正地构建护城河。”地平线表示,愿意趴在地上,去干充满“泥泞”的事情。
虽然,在干充满“泥泞”的事情中,工程师也会抱怨,“即便进入端到端方案中,也是为新的方案兜底,不是核心岗位。”但王军觉得,得先把端到端的知识点吃透。
不能否认的是,新的技术路线之下,车企减少传统技术栈对外招人,但对智驾团队人才的画像,有了新的变化。
李力耘说,小鹏对内,会培养“冷兵器时代”优秀的算法工程师积极转型,对外会持续招聘优秀的人才,牵引他们的转型。这就要提到端到端的第一要素,“驾驭全局”的高阶智驾人才来当“领头羊”。
小米挖来前图森中国CTO王乃岩加盟,华为智驾通过相关专利来锚定人才,做定点挖掘。比亚迪引入百度舱驾融合智驾技术负责人周鹏,负责端到端大模型规控算法开发。
技术尚未落地,颠覆已经开始。一旦特斯拉这条鲶鱼将FSD引入国内,端到端走向量产,会不会“杀死”5万名工程师?
虽然未知。但是,端到端不养闲人已是事实。