聲明:本文來自于微信公眾號 機器之心（ID:almosthuman2014），作者:機器之心，授權(quán)轉(zhuǎn)載發(fā)布。
OpenAI 進軍芯片領(lǐng)域，英偉達自己造聊天機器人，這是 Sam vs Jensen 的時代?
下載地址:https://www.nvidia.com/en-us/ai-on-rtx/chat-with-rtx-generative-ai/
在這波 AI 淘金熱里，英偉達經(jīng)常被稱為那個賣鏟子的人，而且賣的是難以替代的鏟子。依靠這個角色，英偉達市值已經(jīng)超越亞馬遜，成美股第四大公司，離谷歌市值僅一步之遙。
但值得注意的是，英偉達本身也在這波 AI 浪潮里淘金。剛剛，他們發(fā)布了一個對話機器人 ——Chat with RTX，面向 GeForce RTX30系列和40系列顯卡用戶（至少有8GB VRAM）。有人開玩笑說，Sam Altman 進軍芯片領(lǐng)域，黃仁勛進入聊天機器人的領(lǐng)域，這是 Sam vs Jensen 的時代。
與 ChatGPT 等需要聯(lián)網(wǎng)使用的聊天機器人不同，Chat with RTX 可以在本地運行，幫你檢索、分析保存在電腦上的文件（支持文本、PDF、.doc、.docx 和 .xml 等格式）。比如，你可以問它在拉斯維加斯時，我的搭檔推薦了哪家餐廳?Chat with RTX 將掃描你指向的本地文件，并提供帶有上下文的答案。
此外，它還可以幫你分析、總結(jié) Youtube 上的視頻，而且只需要你提供網(wǎng)址。科技媒體 The Verge 資深編輯 Tom Warren 在試用之后表示，Chat with RTX 在視頻中找參考資料的速度非常快，只需要幾秒就能給答案，不過有時也會出錯，找到驢唇不對馬嘴的視頻文字記錄。
據(jù)悉，Chat with RTX 默認使用人工智能初創(chuàng)公司 Mistral 的開源模型，但也支持其他基于文本的模型，包括 Meta 的 Llama2。它會利用 RTX GPU 上的 Nvidia Tensor core 來加快查詢速度。Nvidia 警告說，下載所有必要文件會占用相當大的存儲空間 ——50GB 到100GB，具體取決于所選模型。
Tom Warren 表示，他的電腦采用英特爾酷睿 i9-14900K 處理器，配備 RTX4090GPU，安裝 Chat with RTX 大約花了30分鐘。在他系統(tǒng)可用的64GB 內(nèi)存中，Python 實例占用了大約3GB 內(nèi)存。程序運行后，他可以通過瀏覽器訪問 Chat with RTX，而后臺運行的命令提示符會顯示正在處理的內(nèi)容和任何錯誤代碼。
Tom Warren 還發(fā)現(xiàn)，Chat with RTX 在掃描 PDF 文件和核對數(shù)據(jù)時非常有用。微軟自己的 聊天機器人系統(tǒng)在 Word 中不能很好地處理 PDF 文件，但 Chat with RTX 聊天系統(tǒng)可以毫無問題地提取出所有關(guān)鍵信息，回復也近乎即時，沒有通常使用基于云的 ChatGPT 或聊天機器人時的延遲。
不過，作為一款早期產(chǎn)品，Chat with RTX 還有很多不完善的地方。
一個比較大的缺點是，它不能記憶上下文。比如，你問北美常見的鳥類是什么?，然后接著問它是什么顏色?，它就不知道你是在問鳥的顏色。
英偉達還承認，Chat with RTX 回復的相關(guān)性會受到一系列因素的影響，其中有些因素比較容易控制，包括問題的措辭、所選模型的性能和微調(diào)數(shù)據(jù)集的大小。詢問幾份文檔中涉及的事實可能比詢問一份文檔或一組文檔的摘要得到更好的結(jié)果。英偉達表示，隨著數(shù)據(jù)集的增大，響應質(zhì)量通常也會提高，將 Chat with RTX 指向有關(guān)特定主題的更多內(nèi)容也是如此。
所以，整體來看，Chat with RTX 還是一個初級的產(chǎn)品，暫時不太適合用于生產(chǎn)。但它代表了一種趨勢，即讓 AI 模型更容易地在本地運行。
世界經(jīng)濟論壇在最近的一份報告中預測，能夠離線運行生成式 AI 模型的經(jīng)濟型設(shè)備將大幅增長，其中包括個人電腦、智能手機、物聯(lián)網(wǎng)設(shè)備和網(wǎng)絡設(shè)備。報告表示，原因在于其明顯的優(yōu)勢:離線模型不僅在本質(zhì)上更加私密 —— 它們處理的數(shù)據(jù)永遠不會離開運行的設(shè)備，而且與云托管模型相比，它們的延遲更低，成本效益更高。
英偉達公司創(chuàng)始人兼首席執(zhí)行官黃仁勛表示:生成式人工智能是計算史上最重要的一次平臺轉(zhuǎn)型，它將改變包括游戲在內(nèi)的每一個行業(yè)。英偉達擁有超過1億臺 RTX AI PC 和工作站，是開發(fā)者和游戲玩家享受生成式人工智能魔力的龐大安裝基礎(chǔ)。
Chat with RTX 技術(shù) demo 由 GitHub 上的 TensorRT-LLM RAG 開發(fā)人員參考項目構(gòu)建而成。開發(fā)人員可以使用該參考項目為 RTX 開發(fā)和部署自己的基于 RAG 的應用程序，并通過 TensorRT-LLM 進行加速。
項目地址:https://github.com/NVIDIA/trt-llm-rag-windows
本文鏈接：英偉達官宣AI聊天機器人，本地RTX顯卡運行，這是要挑戰(zhàn)OpenAI？_英偉達ai技術(shù)http://www.lensthegame.com/show-3-9831-0.html
聲明：本網(wǎng)站為非營利性網(wǎng)站，本網(wǎng)頁內(nèi)容由互聯(lián)網(wǎng)博主自發(fā)貢獻，不代表本站觀點，本站不承擔任何法律責任。天上不會到餡餅，請大家謹防詐騙！若有侵權(quán)等問題請及時與本網(wǎng)聯(lián)系，我們將在第一時間刪除處理。