聲明：本文來自于微信公眾號(hào) 量子位（ID:QbitAI），作者:白交，授權(quán)轉(zhuǎn)載發(fā)布。
現(xiàn)在一句口令，就能指揮汽車了。
比如說聲“我開會(huì)要遲到了”“我不想讓我朋友等太久”等等，車就能理解，并且自動(dòng)加速起來。
如果這次行程有不滿意的，只需要給汽車提供反饋建議:“要在充分保障安全的前提下”，汽車的自動(dòng)駕駛行為就會(huì)在下次行程中進(jìn)行自我修正。
這是來自普渡大學(xué)數(shù)字孿生實(shí)驗(yàn)室最新研究——
讓大語言模型部署在自動(dòng)駕駛實(shí)車上，在多個(gè)交通場景，比如停車場、十字路口和高速上理解乘客的各種個(gè)性化指令，構(gòu)建他們的數(shù)字孿生。
最終在眾多大模型的實(shí)驗(yàn)中，GPT-4脫穎而出。
更多細(xì)節(jié)在此。
基于LLM的自動(dòng)駕駛系統(tǒng)
而這背后的實(shí)現(xiàn)，主要來自于一個(gè)框架Talk2Drive。
這個(gè)框架主要有三個(gè)特點(diǎn):
1、它將人類口頭命令轉(zhuǎn)換為文本指令，然后由云端的大模型來處理。在此過程中會(huì)用到一些語音識(shí)別的開源API，比如Whisper，準(zhǔn)確捕獲口令并翻譯成文本。云上的大模型結(jié)合天氣、交通狀況和當(dāng)?shù)亟煌ㄒ?guī)則等信息，生成上下文駕駛數(shù)據(jù)。
2、大模型生成特定的自動(dòng)駕駛代碼，隨后發(fā)送回車輛的電子控制單元（ECU）并在其中執(zhí)行。
代碼執(zhí)行涉及調(diào)整基本駕駛行為以及車輛規(guī)劃和控制系統(tǒng)中的各種參數(shù)。
隨后，車輛的執(zhí)行器通過CAN總線和線控系統(tǒng)控制油門、剎車、檔位選擇和轉(zhuǎn)向。
3、車輛的存儲(chǔ)模塊秉承”千人千面“的理念，記錄著所有人車交互數(shù)據(jù)，確保每次行駛體驗(yàn)都是基于乘客的歷史偏好和實(shí)時(shí)命令進(jìn)行定制，實(shí)現(xiàn)真正意義上的數(shù)字孿生個(gè)性體驗(yàn)。
經(jīng)過一眾大模型對(duì)比，他們最終選擇GPT-4，因?yàn)樗难舆t相對(duì)較小，以及推理能力更強(qiáng)。
在Talk2Drive 系統(tǒng)中，三類不同駕乘偏好的乘客以口頭化的指令表達(dá)與大模型進(jìn)行交互，以促使系統(tǒng)做出相應(yīng)調(diào)整。當(dāng)乘客對(duì)調(diào)整后的自動(dòng)駕駛行為不滿意時(shí)會(huì)關(guān)閉自動(dòng)駕駛模式，系統(tǒng)也會(huì)記錄這種情況下的 “接管”。
結(jié)果顯示，無論駕乘偏好如何，Talk2Drive都能顯著降低接管率。
這輛全副武裝的自動(dòng)駕駛車和大語言模型API協(xié)作完成了這次研究。
來自普渡大學(xué)數(shù)字孿生實(shí)驗(yàn)室
這項(xiàng)研究來自普渡大學(xué)數(shù)字孿生實(shí)驗(yàn)室。
從研究團(tuán)隊(duì)來看，大部分都是華人面孔。
其中一作Can Cui目前是普渡大學(xué)一年級(jí)博士生。在加入普渡大學(xué)工程學(xué)院之前，在密歇根大學(xué)獲得了電氣與計(jì)算機(jī)工程碩士學(xué)位。本科畢業(yè)于武漢理工大學(xué)。
其導(dǎo)師王子然博士，在2022年加入普渡大學(xué)之前，曾在豐田硅谷研發(fā)中心任職四年，以主任研究員的身份領(lǐng)銜數(shù)字孿生的相關(guān)研究。
據(jù)介紹，普渡數(shù)字孿生實(shí)驗(yàn)室從2023年6月開始深耕大語言模型和自動(dòng)駕駛交叉領(lǐng)域，進(jìn)行了包括文獻(xiàn)綜述、創(chuàng)立公開數(shù)據(jù)集、仿真環(huán)境測試、以及主辦研討會(huì)等一系列工作。
論文鏈接:
https://arxiv.org/abs/2312.09397
項(xiàng)目網(wǎng)站:
https://purduedigitaltwin.github.io/llm4ad
本文鏈接：大模型開車哪家強(qiáng)？普渡研究給指南：GPT-4真行啊_模型車開箱http://www.lensthegame.com/show-3-9808-0.html
聲明：本網(wǎng)站為非營利性網(wǎng)站，本網(wǎng)頁內(nèi)容由互聯(lián)網(wǎng)博主自發(fā)貢獻(xiàn)，不代表本站觀點(diǎn)，本站不承擔(dān)任何法律責(zé)任。天上不會(huì)到餡餅，請(qǐng)大家謹(jǐn)防詐騙！若有侵權(quán)等問題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系，我們將在第一時(shí)間刪除處理。
上一篇： 軍大衣流行，給品牌帶來了哪些啟示？