當人工智能（AI）機器人為你診斷疾病，你是否信任它的判斷？當用AI模型來預測蛋白質的復雜結構，你能否理解其預測邏輯？如今，AI已經融入生活的方方面面，一個問題顯得愈發關鍵：如何讓人們理解并信任AI輸出的結果。
構建可解釋性模型是解決這一難題的重要途徑。正如中國科學院院士張鈸所言，如果不能建立可解釋的AI理論，就會無法解決人們對AI技術的困惑和誤解，這也將限制AI技術的發展。
什么是可解釋性模型？它如何幫助人們理解AI？構建可解釋性模型有哪些技術路徑？科技日報記者日前就上述問題采訪了相關專家。
“看清”決策過程
“可解釋性模型是指能夠幫助人們理解其預測或決策過程的模型。可解釋性意味著模型的運行邏輯和預測結果對人類是透明且易于理解的。”中國科學技術大學人工智能與數據科學學院教授王翔解釋道。
王翔認為，可解釋性模型應當具有四個重要特性。一是透明性，可解釋性模型需要提供清晰的決策依據，讓人們能“看清”模型根據輸入數據做決定的全過程；二是一致性，可解釋性模型的解釋需要與人類已有知識一致，不與已知規律矛盾，例如醫療AI的診斷解釋應與醫學標準一致；三是語義性，可解釋性模型的解釋方式應易于理解，能通過自然語言或圖示化形式呈現；四是因果性，可解釋性模型能夠明確說明驅動其預測的關鍵輸入特征，用戶能夠通過調整輸入數據，觀察模型輸出的變化，從而驗證預測結果的可靠性和模型的局限性。
在AI影響力持續提升的今天，構建可解釋性模型成了一項極為重要的任務。王翔認為，可解釋性模型不僅能提升用戶對AI系統的信任度，還有助于提升全社會對AI的接受程度，推動其在各領域廣泛應用。
“可解釋性模型還可以促進AI的公平性和倫理性，避免出現偏見或歧視。對于開發者來說，可解釋性模型能提高AI的調試和優化能力，幫助開發者更好地理解和改進模型。可解釋性模型也有助于提升AI安全性，能幫助監管機構和政策制定者更清楚了解AI技術，確保技術應用符合法律和倫理框架。”王翔補充說。
探索兩種路徑
事實上，并不是所有的模型都難以理解。王翔介紹，對于結構較為簡單、透明的模型，例如線性回歸或決策樹等，人們往往能夠直接理解輸入與輸出之間的關系。而對于復雜、高性能的神經網絡模型來說，則需要借助相應的方法或工具來提高可解釋性。
目前，提升模型可解釋性的技術路徑主要分為內在可解釋性方法和事后可解釋性方法。
內在可解釋性方法是在模型設計階段就融入可解釋性需求，通過構建天然具備解釋能力的模型，使其決策過程透明、直觀。例如，深度學習模型中的注意力機制就是一種常見的內在可解釋性技術，它通過顯示模型關注的區域，幫助用戶理解模型的行為。“透明性和實時性是內在可解釋性方法的優勢。這種方法特別適合對解釋性要求高且需要快速響應的場景，如醫療診斷或金融決策。”王翔說。
事后可解釋性方法則是在模型訓練完成后，通過外部工具或算法分析模型的決策過程，無需修改模型本身。王翔介紹，事后可解釋性方法的最大優勢在于靈活性，它幾乎適用于任何復雜的“黑箱”模型，但計算成本通常較高，尤其是單樣本解釋可能需要多次模型評估，不適合實時性要求高的場景。此外，事后可解釋性方法僅能輔助分析模型行為，無法深入影響或改變模型本身的結構。
提升可解釋性
在提升模型可解釋性方面，學界正在積極進行探索。例如，王翔團隊致力于建立可信賴的圖基礎模型。圖基礎模型是能夠處理和分析各種復雜圖數據的數學模型，它要處理的圖數據可以是社交網絡中的朋友關系、生物中蛋白質之間的相互作用、通信網絡中的設備連接，甚至是人類大腦中的神經元連接等。傳統的圖神經網絡通常通過聚合節點特征和拓撲結構信息進行學習，但實際圖數據中往往包含冗余或噪聲信息，這可能導致模型捕獲與任務無關的特征。王翔團隊提出了一種基于因果的內在可解釋架構（DIR），有效剔除了干擾因素，保留了因果特征，大幅提升了模型的透明度和魯棒性。
產業界的探索也取得了進展。例如，螞蟻集團聯合清華大學發布的AI安全檢測平臺“蟻鑒2.0”融入了可解釋性檢測工具。綜合AI技術和專家知識，通過可視化、邏輯推理、因果推斷等技術，“蟻鑒2.0”從完整性、準確性、穩定性等7個維度及20余項評估指標，對AI系統的解釋質量進行量化分析，幫助用戶更清晰驗證與優化可解釋方案。
商湯科技推出的自動駕駛大模型DriveMLM，則可以根據輸入的信息給出自動駕駛每一步決策和操作時背后的邏輯和推理的原因，能夠以自然語言解釋自動駕駛的行為。也就是說，人們只需將圖像、激光雷達信息、交通規則甚至是乘客需求“一股腦”丟給大模型，它就能給出駕駛方案，并解釋為什么要這么開。商湯科技聯合創始人王曉剛說，自動駕駛的挑戰之一就是AI模型的可解釋性不高，決策過程難以被人們理解，增強AI模型的可解釋性能推動自動駕駛技術進一步發展和普及。
仍存技術難題
行業在構建可解釋性模型上取得一定進展，但仍存在不少技術難點，需要研究人員進一步攻克。
首先，隨著大模型性能、參數不斷提升，其內部結構的復雜程度也在增加，這使得大模型內部決策機理變得越發難以理解，如何實現高度復雜模型的可解釋性是重要問題。
其次，通常情況下，模型性能越強，可解釋性就會越差，如何在模型的性能和可解釋性之間找到合適平衡點，也是亟待解決的問題。王翔認為，未來，開發新的可解釋性算法或將成為重要發展方向之一，新算法可以結合深度學習和邏輯推理等多種路徑，實現模型高性能與解釋性的更好平衡。
最后，目前沒有統一標準來衡量模型的可解釋性，如何準確評估并提升模型的解釋性仍然是開放問題。“可以通過跨學科合作，結合認知科學、心理學等領域知識，共同定義和量化解釋的標準，提高模型的可解釋性。”王翔建議。
當人工智能（AI）機器人為你診斷疾病，你是否信任它的判斷？當用AI模型來預測蛋白質的復雜結構，你能否理解其預測邏輯？如今，AI已經融入生活的方方面面，一個問題顯得愈發關鍵：如何讓人們理解并信任AI輸出的結果。
構建可解釋性模型是解決這一難題的重要途徑。正如中國科學院院士張鈸所言，如果不能建立可解釋的AI理論，就會無法解決人們對AI技術的困惑和誤解，這也將限制AI技術的發展。
什么是可解釋性模型？它如何幫助人們理解AI？構建可解釋性模型有哪些技術路徑？科技日報記者日前就上述問題采訪了相關專家。
“看清”決策過程
“可解釋性模型是指能夠幫助人們理解其預測或決策過程的模型。可解釋性意味著模型的運行邏輯和預測結果對人類是透明且易于理解的。”中國科學技術大學人工智能與數據科學學院教授王翔解釋道。
王翔認為，可解釋性模型應當具有四個重要特性。一是透明性，可解釋性模型需要提供清晰的決策依據，讓人們能“看清”模型根據輸入數據做決定的全過程；二是一致性，可解釋性模型的解釋需要與人類已有知識一致，不與已知規律矛盾，例如醫療AI的診斷解釋應與醫學標準一致；三是語義性，可解釋性模型的解釋方式應易于理解，能通過自然語言或圖示化形式呈現；四是因果性，可解釋性模型能夠明確說明驅動其預測的關鍵輸入特征，用戶能夠通過調整輸入數據，觀察模型輸出的變化，從而驗證預測結果的可靠性和模型的局限性。
在AI影響力持續提升的今天，構建可解釋性模型成了一項極為重要的任務。王翔認為，可解釋性模型不僅能提升用戶對AI系統的信任度，還有助于提升全社會對AI的接受程度，推動其在各領域廣泛應用。
“可解釋性模型還可以促進AI的公平性和倫理性，避免出現偏見或歧視。對于開發者來說，可解釋性模型能提高AI的調試和優化能力，幫助開發者更好地理解和改進模型。可解釋性模型也有助于提升AI安全性，能幫助監管機構和政策制定者更清楚了解AI技術，確保技術應用符合法律和倫理框架。”王翔補充說。
探索兩種路徑
事實上，并不是所有的模型都難以理解。王翔介紹，對于結構較為簡單、透明的模型，例如線性回歸或決策樹等，人們往往能夠直接理解輸入與輸出之間的關系。而對于復雜、高性能的神經網絡模型來說，則需要借助相應的方法或工具來提高可解釋性。
目前，提升模型可解釋性的技術路徑主要分為內在可解釋性方法和事后可解釋性方法。
內在可解釋性方法是在模型設計階段就融入可解釋性需求，通過構建天然具備解釋能力的模型，使其決策過程透明、直觀。例如，深度學習模型中的注意力機制就是一種常見的內在可解釋性技術，它通過顯示模型關注的區域，幫助用戶理解模型的行為。“透明性和實時性是內在可解釋性方法的優勢。這種方法特別適合對解釋性要求高且需要快速響應的場景，如醫療診斷或金融決策。”王翔說。
事后可解釋性方法則是在模型訓練完成后，通過外部工具或算法分析模型的決策過程，無需修改模型本身。王翔介紹，事后可解釋性方法的最大優勢在于靈活性，它幾乎適用于任何復雜的“黑箱”模型，但計算成本通常較高，尤其是單樣本解釋可能需要多次模型評估，不適合實時性要求高的場景。此外，事后可解釋性方法僅能輔助分析模型行為，無法深入影響或改變模型本身的結構。
提升可解釋性
在提升模型可解釋性方面，學界正在積極進行探索。例如，王翔團隊致力于建立可信賴的圖基礎模型。圖基礎模型是能夠處理和分析各種復雜圖數據的數學模型，它要處理的圖數據可以是社交網絡中的朋友關系、生物中蛋白質之間的相互作用、通信網絡中的設備連接，甚至是人類大腦中的神經元連接等。傳統的圖神經網絡通常通過聚合節點特征和拓撲結構信息進行學習，但實際圖數據中往往包含冗余或噪聲信息，這可能導致模型捕獲與任務無關的特征。王翔團隊提出了一種基于因果的內在可解釋架構（DIR），有效剔除了干擾因素，保留了因果特征，大幅提升了模型的透明度和魯棒性。
產業界的探索也取得了進展。例如，螞蟻集團聯合清華大學發布的AI安全檢測平臺“蟻鑒2.0”融入了可解釋性檢測工具。綜合AI技術和專家知識，通過可視化、邏輯推理、因果推斷等技術，“蟻鑒2.0”從完整性、準確性、穩定性等7個維度及20余項評估指標，對AI系統的解釋質量進行量化分析，幫助用戶更清晰驗證與優化可解釋方案。
商湯科技推出的自動駕駛大模型DriveMLM，則可以根據輸入的信息給出自動駕駛每一步決策和操作時背后的邏輯和推理的原因，能夠以自然語言解釋自動駕駛的行為。也就是說，人們只需將圖像、激光雷達信息、交通規則甚至是乘客需求“一股腦”丟給大模型，它就能給出駕駛方案，并解釋為什么要這么開。商湯科技聯合創始人王曉剛說，自動駕駛的挑戰之一就是AI模型的可解釋性不高，決策過程難以被人們理解，增強AI模型的可解釋性能推動自動駕駛技術進一步發展和普及。
仍存技術難題
行業在構建可解釋性模型上取得一定進展，但仍存在不少技術難點，需要研究人員進一步攻克。
首先，隨著大模型性能、參數不斷提升，其內部結構的復雜程度也在增加，這使得大模型內部決策機理變得越發難以理解，如何實現高度復雜模型的可解釋性是重要問題。
其次，通常情況下，模型性能越強，可解釋性就會越差，如何在模型的性能和可解釋性之間找到合適平衡點，也是亟待解決的問題。王翔認為，未來，開發新的可解釋性算法或將成為重要發展方向之一，新算法可以結合深度學習和邏輯推理等多種路徑，實現模型高性能與解釋性的更好平衡。
最后，目前沒有統一標準來衡量模型的可解釋性，如何準確評估并提升模型的解釋性仍然是開放問題。“可以通過跨學科合作，結合認知科學、心理學等領域知識，共同定義和量化解釋的標準，提高模型的可解釋性。”王翔建議。
本文鏈接：著力構建可解釋性模型http://www.lensthegame.com/show-2-10022-0.html
聲明：本網站為非營利性網站，本網頁內容由互聯網博主自發貢獻，不代表本站觀點，本站不承擔任何法律責任。天上不會到餡餅，請大家謹防詐騙！若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。
上一篇： 有色金屬行業首個大模型“坤安”面世
下一篇： 研究顯示中國大米越來越好吃