從華為、特斯拉到小鵬汽車，各大車企紛紛投入巨資研發(fā)，試圖解鎖自動(dòng)駕駛的最終形態(tài)。本文深入探討了端到端技術(shù)如何重塑自動(dòng)駕駛領(lǐng)域，以及這場(chǎng)變革對(duì)工程師們意味著什么。

“華為自動(dòng)駕駛有6千個(gè)工程師，主要用來(lái)寫(xiě)各種規(guī)則，因?yàn)?rule-based （基于規(guī)則）環(huán)境太復(fù)雜，總有新的 task （任務(wù)）出現(xiàn)。”一位特斯拉FSD工程師形容華為智駕團(tuán)隊(duì)，為什么規(guī)模必須很大時(shí)說(shuō)道。

這也是余承東壓力大的原因，華為自動(dòng)駕駛團(tuán)規(guī)每年花費(fèi)10億美元，累計(jì)支出早已經(jīng)超百億，而主要成本就是工程師的薪資等人力成本支出。

不只是華為，對(duì)于所有智能駕駛企業(yè)來(lái)說(shuō)，一直困在系統(tǒng)中的問(wèn)題就是：自動(dòng)駕駛需要窮盡所有的Corner case（特殊情況），這就導(dǎo)致每家智能駕駛團(tuán)隊(duì)的人數(shù)基本都不低。

類似比亞迪、百度這些都在3-5千人，獨(dú)立智能駕駛公司如Momenta在1300 多人，車企理想年初也是1300人，每類型智駕公司都有五六家，這些人加起來(lái)至少有5萬(wàn)核心的自動(dòng)駕駛工程師。

他們薪資都很高，有自動(dòng)駕駛領(lǐng)域獵頭說(shuō)到：“在自動(dòng)駕駛賽道，地平線和禾賽這樣的公司，研發(fā)團(tuán)隊(duì)的人均薪資基本到百萬(wàn)了。”他去年就幫一位年薪200萬(wàn)的獵到了新機(jī)會(huì)。

但很多家也潛行研發(fā)了10年的時(shí)間，卻沒(méi)有一家敢說(shuō)能讓L4級(jí)別的智能駕駛落地。

而在2024年，特斯拉的FSD v12突然帶火了一個(gè)詞『端到端』，一時(shí)間仿佛L4級(jí)別智能駕駛突然要實(shí)現(xiàn)。端到端就像是智能駕駛的ChatGPT時(shí)刻，瞬間讓智能駕駛車企都開(kāi)始布局。

端到端對(duì)于大眾來(lái)說(shuō)，還是個(gè)不甚了解的詞匯，行業(yè)內(nèi)具體解決方案也并不一致。大家只知道，不再需要窮盡算法解決Corner Case （特殊情況），每家智駕團(tuán)隊(duì)就不要一直擴(kuò)張算法團(tuán)隊(duì)人數(shù)。

燒錢卻無(wú)解的情況終于有了改變，資本和企業(yè)歡呼自動(dòng)駕駛有望實(shí)現(xiàn)，智能算法人才卻在猶豫，大模型上車，會(huì)讓自己丟掉飯碗嗎？

01 端到端還在定義，市場(chǎng)卻都是降臨派

自動(dòng)駕駛，此前對(duì)于各大廠來(lái)說(shuō)，說(shuō)起來(lái)都是個(gè)苦命的探索。

自動(dòng)駕駛國(guó)外的領(lǐng)軍企業(yè)是Google 的Waymo，國(guó)內(nèi)是大廠百度、以及元戎、小馬（兩家正在上市）等諸多自動(dòng)駕駛創(chuàng)業(yè)企業(yè)，還有蔚小理等新勢(shì)力。

行業(yè)稍早時(shí)，發(fā)展路線是依賴高精地圖。所以Waymo 以及國(guó)內(nèi)的玩家成本都很貴，每開(kāi)一個(gè)新城都要用自己的車隊(duì)去鋪，100 輛車*100 萬(wàn)人民幣，再加上 operation cost（運(yùn)營(yíng)成本），就是一個(gè)城市一個(gè)億人民幣，從商業(yè)模式來(lái)看不劃算。

于是在2023年，元戎啟行率先發(fā)布了不依賴高精度地圖的智能駕駛解決方案，此后有包括華為、蔚來(lái)、小鵬、理想、地平線等超過(guò)10家企業(yè)明確開(kāi)始棄用高精地圖的方案。

后來(lái)很多車企入局，他們倚重的路線是激光雷達(dá)，華為和小米算是這種路線的代表，前者自研，后者投了投資了激光雷達(dá)企業(yè)禾賽等。

這兩種模式，底層技術(shù)都是BEV+transformer，兩年時(shí)間不到，轉(zhuǎn)眼就老套了。現(xiàn)在以特斯拉和小鵬為代表，都用純視覺(jué)占用網(wǎng)絡(luò)+大模型，從感知到規(guī)劃，端到端成為市場(chǎng)的共識(shí)。

但端到端具體怎么定義，什么系統(tǒng)才是端到端，市場(chǎng)并沒(méi)有明確的定義。如果形象地說(shuō)，端到端更像是模仿人類的思考方式。

諾貝爾獲得者丹尼爾卡尼曼曾說(shuō)，人類有兩個(gè)系統(tǒng)，分別是系統(tǒng)A和系統(tǒng)B，前者利用直覺(jué)和本能，高效處理95%的問(wèn)題，而系統(tǒng)B則是復(fù)雜場(chǎng)景的理解，能處理5%很難的問(wèn)題。

未來(lái)的自動(dòng)駕駛技術(shù)也是如此，用一個(gè)傳感器直接到模型的方案，解決日常碰到的絕大部分問(wèn)題，端到端直接處理。和大模型類似，這種可泛化的 Scaling Law（尺度定律） 大幅度降低了自動(dòng)駕駛解決各種問(wèn)題的成本。

而在模型2中構(gòu)建多模態(tài)模型，處理難以特殊場(chǎng)景的復(fù)雜問(wèn)題，解決自動(dòng)駕駛落地的最后1%難題。

但不是兩個(gè)系統(tǒng)就叫端到端，核心得實(shí)現(xiàn)輸入圖片、輸出信號(hào)，一個(gè)大模型解決問(wèn)題，而不是感知、處理、決策這種多步驟的模塊化系統(tǒng)。因此，有玩家認(rèn)為真正的One Model端到端屬于生成式大模型，才真正具有顛覆性。

端到端到底有何神奇之處，在美國(guó)駕駛過(guò)FSD v12版本特斯拉的國(guó)內(nèi)創(chuàng)業(yè)者張強(qiáng)告訴AI鯨選社，他啟動(dòng)autopilot后，無(wú)保護(hù)左轉(zhuǎn)的情況下，先禮讓直行來(lái)車，對(duì)方也讓行的話，直接加速轉(zhuǎn)向通過(guò)。“不是很死板，像有經(jīng)驗(yàn)的老司機(jī)?！?/p>

顛覆性技術(shù)來(lái)臨之際，也讓各家公司都集體來(lái)了個(gè)大剎車。2024年本來(lái)華為、理想、小鵬都在推進(jìn)全國(guó)無(wú)圖駕駛?，F(xiàn)在無(wú)圖 NOA 的生命周期即將結(jié)束，端到端已經(jīng)在摩拳擦掌。

小鵬汽車就宣稱，2024年將投入35億元用于智能研發(fā)。

在特斯拉內(nèi)部變化也很大，端到端和之前 rule – base 差異很大，上了端到端之后，團(tuán)隊(duì)變動(dòng)也很大，Tesla 之前負(fù)責(zé) planning control （規(guī)劃控制）的負(fù)責(zé)人就離職了。

特斯拉美國(guó)FSD工程師也表示，之前 Tesla 一直不愿意向中國(guó)團(tuán)隊(duì)開(kāi)放代碼閱讀權(quán)限，上了端到端之后，已經(jīng)不需要國(guó)內(nèi)工程師了，國(guó)內(nèi)只需要標(biāo)注即可。

一塊重石悄然在自動(dòng)駕駛工程師圈砸下，現(xiàn)在很多智駕團(tuán)隊(duì)的招聘，都是僵尸崗位，市場(chǎng)在衡量未來(lái)到底需要多少智駕工程師。

02 CEO集體放話，各大車企爭(zhēng)搶大牛

全國(guó)無(wú)圖 NOA 熱度才幾個(gè)月，馬上端到端的智駕就要來(lái)了，大家又回到同一起跑線。

另一方面看，則是自動(dòng)駕駛終于找到了指數(shù)級(jí)進(jìn)化的路線。一直以來(lái)，算法覆蓋corner case，根本拉不開(kāi)各家的實(shí)力差距。所以大家都認(rèn)為，自己和特斯拉處于同一水平。

但端到端技術(shù)開(kāi)啟新的進(jìn)化大門后，新的競(jìng)爭(zhēng)又開(kāi)始了，一兩年內(nèi)應(yīng)該就會(huì)拉開(kāi)巨大差距。

華為余承東曾表示，華為團(tuán)隊(duì)去美國(guó)舊金山、加拿大多倫多等地進(jìn)行了測(cè)試，從結(jié)果來(lái)看，等特斯拉FSD入華后，華為有信心干贏對(duì)手。

今年年初，小鵬汽車創(chuàng)始人何小鵬也去了美國(guó)，親自體驗(yàn)特斯拉FSD的駕駛感受和落地情況。

測(cè)試完，何小鵬說(shuō)到：『我們跟特斯拉，是唯二端到端的（車企），所以小鵬汽車作為中國(guó)最好的智駕廠商，我們也是非常期待特斯拉FSD能夠進(jìn)入中國(guó)，一起互相學(xué)習(xí)?！?/p>

如果你感覺(jué)何小鵬說(shuō)的比較謙虛，實(shí)際上他還說(shuō)了，并自信提出了『國(guó)內(nèi)路況比美國(guó)復(fù)雜10倍，小鵬有信心?！?/p>

且看5月20日的AI Day，小鵬高調(diào)展出了多項(xiàng)第一：國(guó)內(nèi)首個(gè)量產(chǎn)上車的端到端大模型：神經(jīng)網(wǎng)絡(luò)XNet+規(guī)控大模型XPlanner+大語(yǔ)言模型XBrain。還有全球首個(gè)“AI代駕”。AI代駕很有意思，意味著AI駕駛能學(xué)習(xí)司機(jī)的駕駛習(xí)慣，更有個(gè)性化。

類人類智駕，實(shí)際上就是端到端能實(shí)現(xiàn)的重要特征。這塊單獨(dú)拿出來(lái)說(shuō)，更多宣傳層面考慮。

而華為是在更早的2024年4月24日，發(fā)布的ADS3.0，宣布去除了BEV，在決策和控制使用了端到端的人工智能。雖然發(fā)布的早，但實(shí)際上GOD大網(wǎng)也就是感知模塊，控制模塊也是獨(dú)立的，整個(gè)還偏模塊化架構(gòu)，并不能算真正意義上的端到端。

不過(guò)，華為和小鵬確實(shí)是行動(dòng)較快的玩家，在今年7月初，華為與小鵬的兩段式端到端智駕方案將推送給車主。蔚來(lái)也開(kāi)始在7月下旬推送端到端的解決方案。

理想汽車CEO李想也表示，三季度將向測(cè)試用戶推送端到端+VLM(視覺(jué)語(yǔ)言模型)的智駕方案。但對(duì)于理想來(lái)說(shuō)，其實(shí)時(shí)間非常緊迫。

最早行動(dòng)的蔚來(lái)，在年初將感知和規(guī)控團(tuán)隊(duì)合并為大模型團(tuán)隊(duì)，集成團(tuán)隊(duì)重組為交付團(tuán)隊(duì)。理想汽車是到了7月份，才組建了“端到端自動(dòng)駕駛”的實(shí)體組織，整體200人出頭。李想調(diào)動(dòng)了理想智能駕駛技術(shù)研發(fā)負(fù)責(zé)人賈鵬親自負(fù)責(zé)“端到端”的研發(fā)。

同時(shí)，理想公開(kāi)了其端到端自動(dòng)駕駛技術(shù)方案，其方案分為端到端模型、VLM（即Vision-Language Model，視覺(jué)語(yǔ)言模型）視覺(jué)語(yǔ)言模型、世界模型三部分。

雖然發(fā)布時(shí)間較晚，但理想大聲宣布自己才是真正的OneModel 端到端，難度也不是一般的大。“從傳感器輸入到行駛軌跡輸出只經(jīng)過(guò)一個(gè)模型?！崩硐胫悄荞{駛技術(shù)研發(fā)負(fù)責(zé)人賈鵬在發(fā)布會(huì)上曾說(shuō)。

有行業(yè)人士指出，跟華為、小鵬的分段式端到端方案相比，理想的方案確實(shí)更激進(jìn)，可視為分段式端到端的下一站。

趨勢(shì)并不是只有華為和蔚小理等新勢(shì)力會(huì)跟進(jìn)，一項(xiàng)認(rèn)為自動(dòng)駕駛有點(diǎn)扯的比亞迪創(chuàng)始人王傳福，此前曾公開(kāi)說(shuō)：我是實(shí)實(shí)在在搞戰(zhàn)略的，我看的比誰(shuí)都清，我們有幾萬(wàn)名工程師在探索這個(gè)東西（自動(dòng)駕駛）到底行不行，這條路到底通不通，我不清楚嗎？

最近一改往日言論，也在調(diào)兵遣將跟進(jìn)。

7月份，引入百度艙駕融合智駕技術(shù)負(fù)責(zé)人周鵬，負(fù)責(zé)比亞迪的端到端大模型規(guī)控算法開(kāi)發(fā)，而且是獨(dú)立于比亞迪規(guī)劃院智能駕駛研發(fā)中心，新設(shè)立的300人部門。

一個(gè)現(xiàn)象值得關(guān)注，如理想、蔚來(lái)、比亞迪等主流車企智駕部門都成立了獨(dú)立的端到端團(tuán)隊(duì)，并派遣大將坐鎮(zhèn)，都是200-300人團(tuán)隊(duì)即可。相比原來(lái)幾千人甚至上萬(wàn)人的智駕團(tuán)隊(duì)，不可謂不精簡(jiǎn)。

傳統(tǒng)做Rule-Basd算法的人員，盡管目前還沒(méi)有發(fā)生大規(guī)模裁員事件。很大程度上是因?yàn)槎说蕉诉€處于ChatGPT-2時(shí)刻，距離ChatGPT-4時(shí)刻還有距離。

一位自動(dòng)駕駛企業(yè)HR告訴AI鯨選社：“新成立的端到端部門都還剛起步，目前還需要傳統(tǒng)智駕部門做算法場(chǎng)景覆蓋，保證自動(dòng)駕駛安全的下限，未來(lái)會(huì)不會(huì)形成沖擊不好說(shuō)。”

端到端容易出現(xiàn)下限問(wèn)題，是大模型初級(jí)階段的核心問(wèn)題。張強(qiáng)就提到，他在美國(guó)開(kāi)車時(shí)，十字路口的直行道排隊(duì)較長(zhǎng)，特斯拉的autopilot直接拐到左轉(zhuǎn)道，然后紅綠燈一亮，直接又加速斜插回直行道?！安铧c(diǎn)和直行車撞上，還好一腳剎車踩住了?！?br /> 類似場(chǎng)景是大模型還沒(méi)學(xué)明白的地方，這就需要算法覆蓋，保證下限問(wèn)題。但端到端進(jìn)化速度很快，未來(lái)會(huì)學(xué)習(xí)到人類甚至超過(guò)人類的水平。

03 馬斯克還是鯰魚(yú)，普通工程師受傷

現(xiàn)在，小鵬在國(guó)內(nèi)自動(dòng)泊車、潮汐車道等場(chǎng)景中，表現(xiàn)也是超越特斯拉的存在。華為和小鵬實(shí)際都有本地化的優(yōu)勢(shì)，利用高精地圖或者雷達(dá)等加持下，確實(shí)即便FSD v12現(xiàn)在版本真正進(jìn)入國(guó)內(nèi)，也很難短期打敗國(guó)內(nèi)對(duì)手。

但未來(lái)發(fā)展看，技術(shù)底層邏輯會(huì)導(dǎo)致變化。“絕大部分車企，其實(shí)都是在「模型化」，「模塊化端到端」，真正的 OneModel 端到端，可能只有特斯拉?！币晃恍袠I(yè)認(rèn)識(shí)評(píng)價(jià)道?！?/p>

因此可以說(shuō)，特斯拉改變了自動(dòng)駕駛團(tuán)隊(duì)的工作模式。此前，“在模塊化的架構(gòu)下，一位工程師一天只能處理10多個(gè)case，效率不高。”國(guó)內(nèi)最早落地端到端方案的自動(dòng)駕駛企業(yè)元戎啟行CEO周光曾公開(kāi)說(shuō)道。

現(xiàn)在，通過(guò)用海量數(shù)據(jù)去訓(xùn)練大模型，讓機(jī)器擁有自主學(xué)習(xí)、思考和分析的能力，能更好地處理復(fù)雜的駕駛?cè)蝿?wù)。所以，對(duì)于真正的端到端系統(tǒng)真正的三要素，第一是團(tuán)隊(duì)帶頭人（決定端到端模型高度），第二是數(shù)據(jù)，第三是算力。

在各家爭(zhēng)搶完牛人后，大規(guī)模、高質(zhì)量的訓(xùn)練數(shù)據(jù)重要性開(kāi)始顯現(xiàn)。

根據(jù)特斯拉的計(jì)算，完成一個(gè)端到端自動(dòng)駕駛的訓(xùn)練至少需要100萬(wàn)個(gè)、分布多樣、高質(zhì)量的 clips （視頻片段）才能正常工作?！昂敛豢鋸埖卣f(shuō)，數(shù)據(jù)會(huì)占據(jù)端到端自動(dòng)駕駛開(kāi)發(fā)中80%以上的研發(fā)成本。”<毫末智行數(shù)據(jù)智能科學(xué)家賀翔曾如此表示數(shù)據(jù)的重要性。

近期，蔚來(lái)開(kāi)始推送的最新 OTA 。包含了業(yè)內(nèi)首個(gè)應(yīng)用端到端技術(shù)的 AEB，蔚來(lái)用了 20 億公里的數(shù)據(jù)集，來(lái)訓(xùn)練這個(gè)端到端模型。

何小鵬最近在公開(kāi)節(jié)目上透露，基于折算10億+里程的視頻訓(xùn)練、超646萬(wàn)累計(jì)公里數(shù)的實(shí)車測(cè)試、超2.16億累計(jì)公里數(shù)的仿真測(cè)試，小鵬汽車端到端大模型能夠做到“兩天迭代一次”，在未來(lái)18個(gè)月內(nèi)智駕能力提升30倍。

數(shù)字之所以如此重要，正是因?yàn)楝F(xiàn)在端到端大模型的Scaling Law效應(yīng)。此前也需要數(shù)據(jù)，但rule – base更需要的人才是用算法去覆蓋場(chǎng)景，所以對(duì)數(shù)據(jù)需求沒(méi)那么渴求。

第三是算力訓(xùn)練卡，理想有五千張A100、A800這樣等同的訓(xùn)練卡數(shù)量，是小鵬的兩倍。“如果租卡的話，一年需要10億，需要有健康的利潤(rùn)來(lái)提供支持?！?/p>

拼人力的時(shí)代已經(jīng)過(guò)去，各家團(tuán)隊(duì)也在發(fā)生改變，6月8日，理想汽車CEO李想在中國(guó)汽車重慶論壇上發(fā)表演講。

他認(rèn)為所有自動(dòng)駕駛團(tuán)隊(duì)，每天干的活都是靠人工去調(diào)試各種各樣的corner case，而且放的人越多，corner case越多，和真正的自動(dòng)駕駛就越遙遠(yuǎn)。

“當(dāng)人工智能技術(shù)在不斷的發(fā)展的時(shí)候，我們會(huì)發(fā)現(xiàn)，其實(shí)人類開(kāi)車的方式，不是過(guò)去那么多年里我們用的自動(dòng)駕駛研發(fā)的一個(gè)方式。這是一個(gè)根本的不同。因?yàn)槿碎_(kāi)車沒(méi)那么辛苦，沒(méi)那么累，不需要養(yǎng)幾千人的團(tuán)隊(duì)去搞corner case。”

這也是端到端到來(lái)的改變，很多人說(shuō)理想是因?yàn)镸ega失利，所以開(kāi)啟了大裁員。但起碼在智能駕駛團(tuán)隊(duì)情況并不一樣。正如李想所說(shuō)，不需要養(yǎng)幾千人的團(tuán)隊(duì)去搞corner case，才是最重要的一點(diǎn)。

同時(shí)，不需要人為定義這些 task。這也是為什么現(xiàn)在 FSD v12 可以做到每周更新，每次都是三五倍能力的提升。而對(duì)于特斯拉來(lái)說(shuō)，端到端帶來(lái)的另一大機(jī)遇是 Robotaxi。

據(jù)行業(yè)研究員木頭姐的研報(bào)估算，支持 Robotaxi（自動(dòng)駕駛機(jī)器人出租車）之后的特斯拉車隊(duì)規(guī)?？赡艹^(guò) 1 億，而且每量車具備 1000 瓦的高效推理算力，總共就是 100 千兆瓦的 Edge AI 算力，讓特斯拉有機(jī)會(huì)新增類似 AWS 的邊緣 AI 云業(yè)務(wù)，讓特斯拉車輛除了在車主不使用時(shí)可以自動(dòng)加入 Robotaxi 賺錢，還能在靜止停放時(shí)自動(dòng)加入邊緣 AI 云服務(wù)來(lái)賺錢，全時(shí)段飽和運(yùn)轉(zhuǎn)。

自動(dòng)駕駛和 Robotaxi 能在 5 年后（2029）讓特斯拉市值翻 10 倍達(dá)到 5-7 萬(wàn)億刀，Elon Musk 認(rèn)為這是市面上最準(zhǔn)確的預(yù)測(cè)。

所以，大家都十分關(guān)注，特斯拉在國(guó)內(nèi)的落地的時(shí)間點(diǎn)。

馬斯克永遠(yuǎn)是那條鯰魚(yú)，F(xiàn)SD年底進(jìn)入國(guó)內(nèi)時(shí)間，不知道那時(shí)候已經(jīng)憑借端到端，進(jìn)化成什么樣子。

就像特斯拉的上海超級(jí)工廠落成之際，讓國(guó)內(nèi)新能源市場(chǎng)直接洗牌，這次FSD進(jìn)入國(guó)內(nèi)，會(huì)不會(huì)殺死部分自動(dòng)駕駛企業(yè)，讓更多的普通工程師失業(yè)？

參考內(nèi)容：
自動(dòng)駕駛領(lǐng)域的GPT時(shí)刻來(lái)了-硅谷101

2024-端到端研究報(bào)告-辰韜資本