中國儲能網(wǎng)訊：
一、前言
當前，人工智能（AI）及相關(guān)技術(shù)正深度融入各行各業(yè)，在數(shù)據(jù)處理、智能決策和自動化執(zhí)行等方面發(fā)揮重要的支撐作用，將成為新一代信息技術(shù)的核心支柱。一方面，AI技術(shù)的發(fā)展正在推動傳統(tǒng)關(guān)鍵基礎(chǔ)設(shè)施向全面的智能化、自動化方向轉(zhuǎn)型，重構(gòu)其運行機制與服務(wù)模式，提升整體效率與安全水平；另一方面，隨著大模型技術(shù)的快速演進與廣泛應(yīng)用，AI系統(tǒng)的通用性和自適應(yīng)能力持續(xù)增強，使其能夠在多領(lǐng)域、多場景中提供穩(wěn)定、可靠且可持續(xù)的智能服務(wù)，逐步成為支撐現(xiàn)代社會運行的重要底座?？傊?，AI不僅是技術(shù)發(fā)展的推動力，更將成為未來社會信息基礎(chǔ)設(shè)施的重要組成部分，支撐國家治理、經(jīng)濟發(fā)展和公共服務(wù)的智能化升級。
傳統(tǒng)AI系統(tǒng)通常關(guān)注性能優(yōu)化，如提高計算效率、提升預(yù)測準確率或減少誤差。然而，在復(fù)雜、不確定的現(xiàn)實環(huán)境中，僅依賴高性能并不足以支撐AI系統(tǒng)的長期可靠運行。面對數(shù)據(jù)噪聲、攻擊威脅、環(huán)境變化乃至災(zāi)難性故障，作為智能決策核心支撐的AI系統(tǒng)必須具備足夠的韌性，以適應(yīng)變化的環(huán)境、抵御沖擊并確保長期可靠運行。
韌性指系統(tǒng)在面對外部沖擊、內(nèi)部異?；颦h(huán)境變化時，依然能夠維持核心功能、迅速恢復(fù)，并在必要時進行自適應(yīng)優(yōu)化的能力。韌性要求系統(tǒng)具備4個方面的能力：適應(yīng)變化和抵抗干擾的能力、抵御攻擊和修復(fù)故障的能力、快速恢復(fù)正常狀態(tài)的能力以及在變化中自我優(yōu)化和提升的能力。一個高韌性的系統(tǒng)不僅能夠在極端環(huán)境下保持穩(wěn)定運行，還能通過持續(xù)學習并適應(yīng)當前環(huán)境，實現(xiàn)長期可持續(xù)發(fā)展。就AI技術(shù)而言，AI韌性指AI系統(tǒng)在面對環(huán)境不確定性、外部攻擊或內(nèi)部異常時，仍能保持核心功能穩(wěn)定運行，迅速恢復(fù)受損性能，并在必要時自適應(yīng)優(yōu)化，增強長期可靠性和持續(xù)發(fā)展性的能力。這種韌性不僅關(guān)乎AI系統(tǒng)的可靠性和安全性，更決定了其在現(xiàn)實應(yīng)用中的可持續(xù)性。高韌性的AI系統(tǒng)能夠在極端環(huán)境中保持穩(wěn)健運行，在遭受攻擊或失敗后快速修復(fù)，并在不斷變化的需求下進行自適應(yīng)演進，從而避免因脆弱性導(dǎo)致的系統(tǒng)癱瘓或錯誤決策，保障系統(tǒng)安全。
AI韌性研究具有非常重要的現(xiàn)實意義。首先，AI技術(shù)正在深度嵌入社會關(guān)鍵基礎(chǔ)設(shè)施，如智能電網(wǎng)、自動駕駛、智慧醫(yī)療等領(lǐng)域，一旦系統(tǒng)遭受故障或攻擊，可能引發(fā)嚴重后果，提升AI韌性對于保障公共安全和社會穩(wěn)定至關(guān)重要。其次，在網(wǎng)絡(luò)安全、金融風控、認知對抗等強對抗場景中，惡意攻擊者會不斷探索新的攻擊方式，只有具備韌性的AI系統(tǒng)才能在持續(xù)對抗中保持穩(wěn)定和有效。最后，隨著社會和技術(shù)的發(fā)展，不斷涌現(xiàn)的新問題亟待智能系統(tǒng)解決，AI的自適應(yīng)與進化能力將成為其持續(xù)發(fā)揮價值的關(guān)鍵。
AI韌性不僅是AI安全性、穩(wěn)定性的重要組成部分，更是其向高階智能演進的必要基礎(chǔ)。本文旨在深入研究AI韌性，梳理其發(fā)展現(xiàn)狀及存在的突出問題，提出提升AI韌性的針對性建議，助力構(gòu)建更加可靠、可信且可持續(xù)的智能系統(tǒng)，使AI在未來的信息基礎(chǔ)設(shè)施體系中發(fā)揮更廣泛的作用。
二、人工智能韌性維度劃分
針對AI系統(tǒng)的特性，其韌性可細化為穩(wěn)健性、防御力、復(fù)原力與進化力4個核心維度（見圖1），共同構(gòu)成AI系統(tǒng)實現(xiàn)長期可靠運行與可持續(xù)發(fā)展的基礎(chǔ)能力。
（一）穩(wěn)健性
穩(wěn)健性指AI系統(tǒng)在面對環(huán)境擾動、輸入噪聲或運行條件不穩(wěn)定的情況下，依然能夠維持穩(wěn)定、準確輸出的能力。這一維度強調(diào)系統(tǒng)對輸入數(shù)據(jù)的不確定性，如光照變化、傳感器誤差、分布偏移等，具有良好的容忍性，并在多種應(yīng)用場景與任務(wù)配置下保持性能一致性。穩(wěn)健性的實現(xiàn)依賴于算法模型的泛化能力、邏輯推理能力與訓練過程中的魯棒性優(yōu)化，包括使用數(shù)據(jù)增強、正則化方法與抗干擾機制等手段，增強系統(tǒng)在現(xiàn)實復(fù)雜環(huán)境中的適應(yīng)能力。如圖1所示，穩(wěn)健性是AI系統(tǒng)的內(nèi)稟屬性，表現(xiàn)為模型能力空間內(nèi)的一個子空間——穩(wěn)健性域。在穩(wěn)健性域內(nèi)，模型能夠平穩(wěn)、正常運行；在穩(wěn)健性域外、能力空間內(nèi)，模型能夠運行但其準確性和穩(wěn)定性無法保證，由此產(chǎn)生自發(fā)性風險如模型幻覺等。
圖1 AI韌性維度劃分及運行示例
（二）防御力
防御力關(guān)注的是AI系統(tǒng)應(yīng)對安全威脅的能力，特別是面對外部惡意攻擊（如對抗樣本、數(shù)據(jù)投毒、后門植入）或內(nèi)部異常行為（如模型篡改、權(quán)限濫用）時，系統(tǒng)能否有效識別與防御，確保模型行為不被干擾。防御力不僅關(guān)系到AI系統(tǒng)的安全性與可信度，更直接影響其在開放環(huán)境中部署的可行性。AI系統(tǒng)高防御力的實現(xiàn)，通常需要具備信息訪問控制、異常檢測、攻擊識別與響應(yīng)等能力，并結(jié)合模型安全設(shè)計與持續(xù)監(jiān)控機制，提升整體系統(tǒng)的安全防線。如圖1所示，穩(wěn)健性與防御力存在協(xié)同效應(yīng)，即穩(wěn)健性提供了一部分被動的防御力。對于穩(wěn)健性更強的AI系統(tǒng)，攻擊者想要攻破的成本更高；防御力可以進一步針對性地提高對惡意攻擊的防御能力，但對自發(fā)性風險作用有限。
（三）復(fù)原力
復(fù)原力體現(xiàn)的是AI系統(tǒng)在遭遇功能退化或局部故障后的恢復(fù)能力，確保系統(tǒng)能在短時間內(nèi)重新獲得穩(wěn)定運行狀態(tài)。對于硬件故障、計算資源異常、通信中斷以及模型性能突降所引發(fā)的運行中斷，具備復(fù)原力的AI系統(tǒng)需具備快速診斷問題、定位損傷、恢復(fù)核心功能的能力，防止局部問題演化為系統(tǒng)性風險。復(fù)原力的實現(xiàn)依賴于狀態(tài)感知、異?；謴?fù)與自愈機制，包括系統(tǒng)重構(gòu)、模型回滾、數(shù)據(jù)冗余等方法，以增強系統(tǒng)的自我修復(fù)能力與故障容忍性。如圖1所示，當穩(wěn)健性與防御力失效時，AI系統(tǒng)由正常態(tài)轉(zhuǎn)化為異常態(tài)，此時，復(fù)原力可以為系統(tǒng)提供狀態(tài)監(jiān)測與恢復(fù)能力，及時發(fā)現(xiàn)模型運行狀態(tài)轉(zhuǎn)變與異常點位，進而通過多種模型復(fù)原手段將模型狀態(tài)重置為正常態(tài)。
（四）進化力
進化力指AI系統(tǒng)在面對環(huán)境變化、任務(wù)轉(zhuǎn)變或新型威脅時，能夠主動適應(yīng)并實現(xiàn)持續(xù)優(yōu)化的能力，適用于動態(tài)環(huán)境中的AI應(yīng)用，如網(wǎng)絡(luò)安全、自動駕駛或金融決策等。進化力強調(diào)系統(tǒng)在運行過程中具備環(huán)境感知、知識遷移與持續(xù)學習的能力，從而不斷調(diào)整自身策略，優(yōu)化模型結(jié)構(gòu)，擴展知識體系。進化力的構(gòu)建通常依賴于在線學習機制、元學習方法以及任務(wù)自適應(yīng)算法設(shè)計等前沿技術(shù)的集成。如圖1所示，當復(fù)原力發(fā)揮作用或有新的任務(wù)需求、場景變化時，AI系統(tǒng)需要對能力空間進行更新，此時進化力提供了改進能力；更強的進化力要求在適應(yīng)新業(yè)務(wù)場景的同時，兼顧系統(tǒng)穩(wěn)健性、防御力和復(fù)原力的提升。
綜上所述，AI韌性可以通過穩(wěn)健性、防御力、復(fù)原力、進化力4個維度進行系統(tǒng)定義與衡量，各維度之間相互支撐、協(xié)同作用，共同構(gòu)建了AI系統(tǒng)在復(fù)雜環(huán)境中實現(xiàn)穩(wěn)定運行、快速恢復(fù)、安全防護與持續(xù)進化的核心能力，為AI系統(tǒng)的大規(guī)模部署與長期應(yīng)用提供堅實基礎(chǔ)。接下來，將對4個維度的能力構(gòu)成及相關(guān)技術(shù)進行詳細綜述，并在此基礎(chǔ)上總結(jié)當前面臨的挑戰(zhàn)，探討未來的發(fā)展方向。
三、人工智能穩(wěn)健性技術(shù)發(fā)展現(xiàn)狀
AI穩(wěn)健性體現(xiàn)的是系統(tǒng)在不穩(wěn)定環(huán)境中保持穩(wěn)定輸出的能力。這一特性不僅要求模型能夠在噪聲干擾、分布偏移和硬件故障等不確定性因素下可以維持性能，還要求在復(fù)雜多變的環(huán)境條件下始終保持一致性和可靠性。AI穩(wěn)健性的能力構(gòu)成包括算法的泛化能力、推理邏輯以及穩(wěn)健訓練（見圖2）。近年來，隨著大模型的興起，大語言模型和生成模型的穩(wěn)健性研究也逐漸形成獨立方向。
圖2 AI穩(wěn)健性的能力構(gòu)成
（一）泛化能力
泛化能力是AI穩(wěn)健性的核心，其目標是使模型在未知數(shù)據(jù)分布或跨域場景中仍能保持穩(wěn)定的預(yù)測性能。如圖2所示，泛化能力的增強，通常需要擴大AI系統(tǒng)的能力空間，間接擴大穩(wěn)健性域，以提高系統(tǒng)穩(wěn)健性。實現(xiàn)泛化能力的途徑主要包括數(shù)據(jù)增強、遷移學習等，前者通過在訓練數(shù)據(jù)中引入多樣化擾動來模擬真實世界的不確定性，后者則利用不同領(lǐng)域的知識遷移來提升跨場景表現(xiàn)，這些方法共同作用，使模型能夠在復(fù)雜的現(xiàn)實環(huán)境中更好地維持穩(wěn)定性。
AI穩(wěn)健性的提升通常運用多種策略來提高模型的泛化表現(xiàn)。例如，通過樣本疊加與邏輯值輸出的隨機性檢測來識別潛在的異常輸入，從而提升模型面對未知攻擊的魯棒性。在網(wǎng)絡(luò)安全場景下，基于機器學習的入侵檢測系統(tǒng)被系統(tǒng)化評估并在面對對抗攻擊時展現(xiàn)出新的防御機制；針對零日應(yīng)用的穩(wěn)健流量分類方法，通過結(jié)合有監(jiān)督與無監(jiān)督學習實現(xiàn)自動參數(shù)優(yōu)化，使模型在不穩(wěn)定網(wǎng)絡(luò)環(huán)境中依然保持較高的準確率。此外，循環(huán)神經(jīng)網(wǎng)絡(luò)（RNNs）被引入以利用多層編碼器 ? 解碼器結(jié)構(gòu)，深度挖掘流量的時序特征，從而緩解數(shù)據(jù)漂移帶來的影響。
近年來，生成式技術(shù)為數(shù)據(jù)增強提供了全新思路?；谏蓪咕W(wǎng)絡(luò)和擴散模型的方法能夠通過建模近似訓練數(shù)據(jù)的真實分布來采樣高保真樣本，進而擴展訓練集的規(guī)模與多樣性。相關(guān)研究表明，擴散模型輔助的對抗訓練能夠顯著提升模型的對抗穩(wěn)健性。在類別不平衡問題中，通過合成少數(shù)類樣本形成平衡數(shù)據(jù)集，可以有效增強模型對小樣本類別的識別能力。
在具身智能場景中，為了縮小模擬與現(xiàn)實之間的差距并提升跨環(huán)境泛化性，相關(guān)研究進一步提出了域隨機化方法。該方法通過在模擬環(huán)境中注入多種物理參數(shù)與視覺變化，使模型在訓練階段學習到對環(huán)境變化不敏感的策略，從而在視覺識別與機器人控制的模擬 ? 真實遷移任務(wù)中取得顯著進展。
目前研究人員已經(jīng)針對AI泛化能力開展了廣泛研究，但現(xiàn)有AI模型在面臨未知數(shù)據(jù)分布或跨域場景時仍存在性能波動較大、模型決策失準等問題。未來，在復(fù)雜多變的真實物理場景中，需進一步開展有效提升AI模型泛化能力的研究。
（二）推理邏輯
準確的推理邏輯是AI系統(tǒng)穩(wěn)健性的基礎(chǔ)，旨在保障模型決策的正確性和決策過程的透明性。從能力構(gòu)成角度來看，推理邏輯通過增強AI系統(tǒng)能力空間中各穩(wěn)健性域間的連通性來防止模型推理、決策過程存在的自發(fā)性風險。
在可解釋性研究方面，現(xiàn)有方法主要從兩類路徑展開，一類是基于數(shù)理框架的方法，如利用博弈論思想的夏普利加性解釋（SHAP）統(tǒng)一框架，實現(xiàn)對多模態(tài)模型的決策溯源與可量化解釋；另一類是結(jié)合符號邏輯的混合推理系統(tǒng)，將神經(jīng)網(wǎng)絡(luò)與謂詞演算結(jié)合，在安全關(guān)鍵領(lǐng)域中保證推理結(jié)果的可驗證性。此外，基于可視化的解釋方法也被廣泛采用，如梯度熱力圖（Grad-CAM）利用梯度信息對模型的決策依賴性進行分析，并提供熱力圖形式的可解釋結(jié)果。
雖然現(xiàn)有推理邏輯的可解釋方法從可證明和可視化角度分別開展了一系列研究，但計算效率與應(yīng)用場景仍受到模型參數(shù)規(guī)模和數(shù)據(jù)模態(tài)的限制，在大模型、多模態(tài)推理場景下存在計算成本偏高、可解釋性下降等問題，限制了其在大語言模型、多模態(tài)模型等領(lǐng)域中的應(yīng)用。
（三）穩(wěn)健訓練
穩(wěn)健訓練通過引入對抗訓練、正則化方法、數(shù)據(jù)增強等技術(shù)手段，提高AI模型對噪聲、數(shù)據(jù)偏差和對抗性擾動的抵抗能力，使其在復(fù)雜多變的環(huán)境中依然能夠做出穩(wěn)定、可靠的決策。如圖2所示，穩(wěn)健訓練通過直接擴大穩(wěn)健性域來提高系統(tǒng)整體的穩(wěn)健性。
在具體的穩(wěn)健訓練方法中，擾動不變對抗訓練（PIAT）結(jié)合自然排序損失與對抗排序損失，實現(xiàn)了在正常樣本與對抗樣本上的排序性能優(yōu)化。雙階段訓練框架通過在損失函數(shù)中引入雙重約束相似度，有效提升了低質(zhì)量數(shù)據(jù)下的穩(wěn)健性。在噪聲標簽數(shù)據(jù)場景下，雙網(wǎng)絡(luò)協(xié)同學習機制通過相互糾正，降低了錯誤標注的負面影響；多維約束表示方法則將數(shù)據(jù)清洗與穩(wěn)健訓練統(tǒng)一為一個理想表示函數(shù)的逼近過程，使模型能夠在迭代中逐漸收斂至更穩(wěn)健的狀態(tài)。
在后門攻擊防御方面，反向利用中毒數(shù)據(jù)訓練干凈模型的方法有效抑制了后門觸發(fā)，提高了模型的泛化性。與此同時，博弈論模型被引入聯(lián)邦學習場景中，用于建模攻擊者與防御者之間的互動，顯著增強了系統(tǒng)對自適應(yīng)攻擊的抵抗能力。
在強化學習與具身智能場景中，擾動注入和風險敏感策略成為穩(wěn)健性提升的重要手段之一。這類方法借鑒了對抗訓練思想，并在進一步研究中發(fā)展為穩(wěn)健對抗強化學習。通過大規(guī)模真實機器人實驗，模型在處理多樣化物體和不確定性條件下獲得了穩(wěn)健的抓取策略。
整體來看，現(xiàn)有穩(wěn)健訓練在穩(wěn)健性增強方面普遍取得了較好的效果，能夠有效降低對抗樣本、模型投毒等安全風險。然而，大多數(shù)現(xiàn)有穩(wěn)健訓練方法均會帶來額外的訓練或推理成本，相關(guān)成本甚至達到模型普通訓練成本的10倍以上，且通常會造成模型的可用性下降，因此，亟需研究輕量化的模型穩(wěn)健訓練方法，提高穩(wěn)健訓練的可用性。
（四）大模型穩(wěn)健性
相較于傳統(tǒng)AI模型，大語言模型與生成式擴散模型的功能更復(fù)雜、應(yīng)用場景更廣泛，因此，近年來一系列針對這類模型的穩(wěn)健性評估與增強方法得到了廣泛關(guān)注。
在穩(wěn)健性評估方面，已有多種基準被提出。例如，RoTBench通過新的評價指標與實時評估平臺，對大模型在工具學習和數(shù)學推理中的表現(xiàn)進行了綜合檢驗；Trust LLMs提出了覆蓋真實性、安全性、公平性、穩(wěn)健性、隱私性和機器倫理等維度的評測框架，并在16個主流模型上開展了系統(tǒng)評估。相關(guān)研究也指出，大模型在提示詞變化下普遍表現(xiàn)出高度的不穩(wěn)健性，強調(diào)了新的評估準則的重要性。此外，通過開展可信度調(diào)查，該研究還提出了涵蓋7個主要類別、共29個子類別的評估體系，運用實證分析揭示了模型對齊與穩(wěn)健性之間的復(fù)雜關(guān)系。
針對新興的越獄攻擊風險，已有研究構(gòu)建了新的評測基準與數(shù)據(jù)集。例如，部分評測方法通過惡意指令嵌入，揭示模型在含敏感話題任務(wù)中的脆弱性，或通過在嵌入空間添加擾動以發(fā)現(xiàn)能夠高效繞過安全對齊機制，引發(fā)有害行為的指令。JailBreakV-28K數(shù)據(jù)集系統(tǒng)性評估了多模態(tài)模型在越獄攻擊下的脆弱性；“弱到強”越獄攻擊方法則通過小模型對大模型解碼概率的對抗性修改，大幅提升了攻擊成功率，進一步揭示了對齊機制的脆弱性。上述研究表明，在面對復(fù)雜擾動時，大模型的穩(wěn)健性依然不足。
在大模型穩(wěn)健性增強方面，現(xiàn)有研究提出了多種路徑。人類反饋強化學習（RLHF）通過多層次獎勵建模，使生成內(nèi)容更貼合人類價值觀，基于知識圖譜的微調(diào)能夠利用結(jié)構(gòu)化事實降低模型幻覺的發(fā)生率。隱空間對齊技術(shù)被應(yīng)用于生成式圖像模型，以提高跨模態(tài)生成的準確性；預(yù)訓練模型引導(dǎo)的對抗微調(diào)（PMG-AFT）方法結(jié)合預(yù)訓練模型與對抗樣本生成，在保持泛化性的同時增強了對抗穩(wěn)健性。邏輯約束引導(dǎo)方法通過結(jié)合隱馬爾可夫模型與有限自動機，確保了大語言模型推理過程的邏輯一致。
隨著大模型技術(shù)的快速發(fā)展及其應(yīng)用場景的不斷拓寬，現(xiàn)有大模型的穩(wěn)健性評估與增強方法研究存在一定的滯后性，需進一步研究針對大模型長思考、多輪對話等場景的穩(wěn)健性技術(shù)。
表1列出了AI穩(wěn)健性增強的代表性方法及對比情況。如表1所示，現(xiàn)有AI穩(wěn)健性增強方法普遍存在訓練與推理開銷大的問題，部分方法帶來的額外開銷甚至高于原始任務(wù)的訓練和推理開銷，導(dǎo)致其在真實業(yè)務(wù)場景中不可用。整體來看，AI穩(wěn)健性相關(guān)研究在推理邏輯透明化、可驗證方面仍處于起步階段，針對大語言模型、具身智能等新場景的穩(wěn)健性評估與增強策略仍存在研究空白。
表1 AI穩(wěn)健性增強代表方法對比
四、人工智能防御力技術(shù)發(fā)展現(xiàn)狀
防御力關(guān)注AI系統(tǒng)對內(nèi)外部攻擊的抵御能力，包括對抗攻擊、數(shù)據(jù)投毒、后門攻擊等安全威脅。提升防御力不僅可以保護模型免受惡意篡改，還能增強系統(tǒng)的整體安全性，確保AI在開放環(huán)境下的可信性。AI系統(tǒng)韌性的防御力反映系統(tǒng)抵御內(nèi)外部攻擊、保障系統(tǒng)安全的能力，其基礎(chǔ)能力支撐包括信息限制能力、攻擊識別能力與攻擊防御能力（見圖3）。信息限制能力面向攻擊信息嗅探階段，限制攻擊者獲取足夠的可用信息以發(fā)起攻擊，而攻擊識別和攻擊防御能力面向攻擊實施階段，旨在及時捕獲、阻斷攻擊并防止攻擊生效。
圖3 AI防御力構(gòu)成
（一）信息限制
信息限制的目標是在保障功能性的前提下，最小化系統(tǒng)各參與方能夠獲取的權(quán)限和信息。信息限制能力貫穿于AI系統(tǒng)全生命周期的各個階段。例如，在數(shù)據(jù)收集階段，差分隱私隨機梯度下降通過向梯度注入噪聲限制信息泄露，可有效降低成員推理攻擊的成功概率；在模型訓練階段，結(jié)合知識蒸餾與同態(tài)加密的聯(lián)邦學習框架，可在保護成員隱私與業(yè)務(wù)信息的同時，實現(xiàn)對成員隱私數(shù)據(jù)和業(yè)務(wù)信息的保護性利用；在部署與運行階段，需要定量刻畫模型參數(shù)與信息的含量映射關(guān)系，以便在理論上界定成員推斷攻擊所能獲取的信息量并據(jù)此設(shè)計限制策略?；谛畔⒄摴ぞ叩姆治鲞€能給出模型反演攻擊成功率的上下界及其關(guān)鍵影響因子，為防護策略的評估提供理論依據(jù)。此外，通過在訓練中引入對抗正則化并增加對抗判別器，可以在特征空間上壓縮中毒樣本與正常樣本的差異，從而降低對檢測機制的規(guī)避能力。
整體來看，信息限制為AI模型提供了可證明、可操作的防御力增強策略，但目前相關(guān)研究仍處于起步階段，不同風險類型在模型全生命周期的信息載體、表征方式與傳遞形式以及信息視角下不同風險類型間博弈交互的機制仍不明確，導(dǎo)致現(xiàn)有的信息限制方法缺乏理論支撐。
（二）攻擊識別
攻擊識別能力是保障系統(tǒng)安全的前提，能夠及時發(fā)現(xiàn)并阻斷攻擊，為后續(xù)響應(yīng)爭取時間。面向數(shù)據(jù)投毒的統(tǒng)計異常檢測方法，可有效識別訓練集中的中毒樣本。面向工業(yè)場景的輕量級后門檢測方法，通過高效的局部鄰域異常篩查，可以在短時間內(nèi)對百萬級訓練樣本實現(xiàn)可行的后門掃描。在對抗樣本檢測方面，基于流形與決策邊界分析的框架，可用以辨別針對入侵檢測系統(tǒng)的對抗輸入。從部署側(cè)的訪問行為出發(fā)，基于應(yīng)用程序編程接口（API）調(diào)用流特征的分析能在上線模型的訪問流中，準確識別與模型竊取相關(guān)的查詢模式。針對后門的逆向檢測方法與測試時的穩(wěn)健性、一致性檢驗被提出，用以判斷測試樣本是否攜帶觸發(fā)器或異常行為。考慮到長尾效應(yīng)對檢測效率的影響，已有研究提出了基于長尾分布特性的后門檢測方法，顯著降低了時間與算力成本。
現(xiàn)有攻擊識別方法主要面向數(shù)據(jù)投毒、模型后門等特定類型的攻擊，實現(xiàn)了較高的檢測準確率，但大多數(shù)方法依賴被動式掃描以發(fā)現(xiàn)模型異常狀態(tài)。然而，部分風險類型如模型竊取攻擊、模型反演攻擊等，并不引發(fā)模型異常行為，導(dǎo)致現(xiàn)有攻擊識別方法失效。因此，有必要引入針對不同風險類型的主動防御方法，通過主動誘導(dǎo)、捕捉攻擊行為，提高攻擊識別的準確率并降低識別成本。
（三）攻擊防御
攻擊防御能力與識別能力互為補充，共同阻止攻擊者達成既定目標。傳統(tǒng)被動防御多以增強模型魯棒性為主，如通過對抗訓練提升對抗樣本的抵抗力，或?qū)ψ匀徽Z言后門通過字符替換等方式進行防護。為彌補被動策略在攻防博弈中的劣勢，近年來，已有研究提出了多種主動防御思路，如通過在模型中植入蜜罐或誘餌來主動捕獲攻擊者行為，使攻擊代價上升；利用生成對抗網(wǎng)絡(luò)生成虛假目標并通過微調(diào)將其注入人臉識別模型，以誤導(dǎo)模型反演嘗試；設(shè)計即插即用的防竊取水印機制，在不需要額外訓練的條件下對模型竊取行為進行遏制等。針對網(wǎng)絡(luò)流量異常的檢測，借助因果網(wǎng)絡(luò)對良性流量建模的方法能在面對隨機時延與填充等逃逸手段時仍保持較強的檢測能力。同時，研究人員將防御性后門作為主動干預(yù)手段以阻止對抗性攻擊，此方法在特定場景中展現(xiàn)出應(yīng)用價值。然而，攻防雙方持續(xù)演化導(dǎo)致針對既有防御的自適應(yīng)攻擊不斷出現(xiàn)，如通過動態(tài)調(diào)整攻擊步長等策略繞過基于狀態(tài)的防御并恢復(fù)高攻擊成功率。因此，需要在理論與實踐層面設(shè)計能面對強對抗環(huán)境與自適應(yīng)對手的穩(wěn)健防御體系。
（四）大模型安全防御
在生成式大模型領(lǐng)域，新型安全風險對智能系統(tǒng)的防御力提出了更高要求。針對越獄攻擊，已有研究構(gòu)建了JailGuard框架，通過比較不良樣本與良性樣本的響應(yīng)穩(wěn)定性差異，實現(xiàn)對越獄提示詞的有效檢測。在文生圖擴散模型中，隱空間安全導(dǎo)引方法被用于約束生成內(nèi)容，從而確保輸出合規(guī)。
在大語言模型的對抗性研究中，相關(guān)總結(jié)性研究系統(tǒng)梳理了現(xiàn)有攻擊與防御手段，并深入分析了各類攻擊的特征與演化趨勢，為未來研究方向提供了啟示。相關(guān)研究顯示，在多輪攻擊情境下，現(xiàn)有防御手段存在脆弱性，尤其是機器遺忘防御可能被繞過，從已遺忘的模型中恢復(fù)敏感的雙重用途知識，為此還構(gòu)建了新的數(shù)據(jù)集以推動相關(guān)研究。
對基礎(chǔ)性防御手段的評估表明，檢測、輸入預(yù)處理及對抗訓練等策略在不同情境下具備差異化的適用性與有效性。在檢測與響應(yīng)機制方面，殘差流激活分析被用于識別和緩解對抗性輸入，而安全關(guān)鍵梯度分析則通過監(jiān)測梯度變化實現(xiàn)對越獄提示的識別，提供了更高效的防御機制。
在更具針對性的攻擊防護中，強制解碼攻擊驗證了現(xiàn)有對齊方法的不足，顯示模型易被去對齊，因此需結(jié)合數(shù)據(jù)預(yù)處理與后訓練機制以構(gòu)建多層次防御體系。語義平滑通過聚合多種語義變換后的提示預(yù)測，提高了模型在面對惡意輸入時的魯棒性?；诹鲿扯鹊姆烙椒ǎ⊿moothLLM）利用多副本輸入的隨機擾動與預(yù)測聚合，有效降低了模型的越獄攻擊成功率。
有關(guān)結(jié)構(gòu)層面的安全研究表明，大模型的早期層在模型安全性方面具有關(guān)鍵作用，針對特定層的編輯能夠在不削弱任務(wù)性能的情況下顯著提升防御力。此外，在模型內(nèi)部集成蜜罐模塊的方式，能夠在低層吸收后門信息，使主干網(wǎng)絡(luò)專注于原始任務(wù)，從而在微調(diào)階段有效抑制后門的植入。
目前，針對生成式大模型的安全防御研究主要關(guān)注訓練階段和推理階段，但高性能大模型的構(gòu)建還涉及大量供應(yīng)鏈上下游環(huán)節(jié)，顯著拓寬了模型的風險面。因此，如何確保生成式大模型具備全生命周期安全防御能力有待進一步研究。表2從不同維度對比了AI安全防御技術(shù)的適用場景及其成本情況。
表2 常用AI安全防御技術(shù)對比
五、人工智能復(fù)原力技術(shù)發(fā)展現(xiàn)狀
復(fù)原力體現(xiàn)AI系統(tǒng)遭受破壞或功能失效后，能快速恢復(fù)至正常狀態(tài)的能力。無論是因硬件故障、網(wǎng)絡(luò)擁塞，還是數(shù)據(jù)異常、惡意攻擊導(dǎo)致的性能下降，具備良好復(fù)原力的AI系統(tǒng)能夠迅速調(diào)整，恢復(fù)原有功能，避免系統(tǒng)性崩潰。圖4為AI復(fù)原力的構(gòu)成情況。在遭受破壞或失效后，AI系統(tǒng)應(yīng)當對系統(tǒng)的硬件層、模型層和應(yīng)用層具有實時的狀態(tài)監(jiān)測能力與異常狀態(tài)影響消除能力。
圖4 AI復(fù)原力構(gòu)成情況
（一）狀態(tài)監(jiān)測
狀態(tài)監(jiān)測能力與攻擊識別能力具有相似之處，要求AI系統(tǒng)對異常狀態(tài)具有識別能力。此外，狀態(tài)監(jiān)測能力對實時性的要求更高，通常面向應(yīng)用部署與上線階段。具體來看，神經(jīng)元蜜罐通過預(yù)先評估神經(jīng)元權(quán)重對模型篡改攻擊的重要性，借助對關(guān)鍵神經(jīng)元的實時監(jiān)控實現(xiàn)篡改后快速修復(fù)。在聯(lián)邦學習場景中，引入反饋機制動態(tài)監(jiān)測客戶端的數(shù)據(jù)分布，可用于識別并隔離后門行為，從而提升聯(lián)邦層面的復(fù)原能力。在具身智能任務(wù)中，通過連續(xù)自我建模來適配物理損傷，可以在結(jié)構(gòu)受損時維持或快速恢復(fù)功能?；谥悄茉囧e的控制策略可以使機器人在肢體受損后，迅速找到替代的運動方式，完成核心任務(wù)。在數(shù)據(jù)層面，通過訓練損失定位可疑樣本并計算特征相關(guān)性，可借助樣本分布差異進行異常檢測。多出口分支網(wǎng)絡(luò)能夠在淺層與深層之間檢測演化偏差，從而識別潛在的后門樣本。
（二）影響消除
在識別異常狀態(tài)的基礎(chǔ)上，影響消除能力反映模型消除風險、恢復(fù)正常的能力。當前，聚焦模型的神經(jīng)網(wǎng)絡(luò)后門移除，開展了較多研究，提出了多種解決方案。一類解決方案是修剪與后門強相關(guān)的神經(jīng)元，通過逆向并遺忘后門觸發(fā)器，實現(xiàn)后門移除?；谀Ｐ臀⒄{(diào)的精細剪枝方法，利用干凈的標記數(shù)據(jù)，通過修剪在正常樣本輸入時激活值較小的神經(jīng)元來移除后門相關(guān)神經(jīng)元，從而在有效消除后門觸發(fā)器影響的同時不降低模型的整體性能。后續(xù)研究通過后門檢測算法逆向觸發(fā)器，并利用合成的觸發(fā)樣本修剪后門?；谟|發(fā)器識別的剪枝方法（TABOR），利用一個新的優(yōu)化目標識別后門觸發(fā)器并借助可解釋算法進一步指導(dǎo)剪枝。類似的技術(shù)還包括利用生成模型的重建能力檢測和清除神經(jīng)網(wǎng)絡(luò)后門，以及通過擾動中毒模型的神經(jīng)元權(quán)重，修剪對擾動敏感的神經(jīng)元以實現(xiàn)后門移除等。
另一類解決方案是通過遺忘學習或蒸餾神經(jīng)注意力以移除后門。神經(jīng)注意力蒸餾利用小部分干凈的數(shù)據(jù)子集，使用教師網(wǎng)絡(luò)來指導(dǎo)與微調(diào)學生網(wǎng)絡(luò)上的中間層，確保學生網(wǎng)絡(luò)的意圖與教師網(wǎng)絡(luò)意圖一致。重要性驅(qū)動克隆（MEDIC）方法通過給定的后門模型和一組干凈樣本，從頭開始訓練克隆模型，并在重訓練中采用全新的損失函數(shù)，迫使克隆模型在相應(yīng)的內(nèi)部神經(jīng)元處生成與原始模型相同的內(nèi)部激活值，確保新模型保持正常的推理能力。后門遺忘學習（BAERASE）通過逆向后門注入過程實現(xiàn)后門擦除，對監(jiān)測到的后門觸發(fā)器進行遺忘學習，消除模型中存在的后門。類似方法也被用于清除生成式模型中的不合規(guī)知識。因果關(guān)系神經(jīng)網(wǎng)絡(luò)修復(fù)方法通過因果關(guān)系分析識別出對模型缺陷貢獻最大的神經(jīng)元，并通過優(yōu)化這些神經(jīng)元的參數(shù)來減少不良行為，同時盡量保持模型的準確性，從而提升模型的可靠性與公平性。在具身智能場景中，當故障導(dǎo)致原定任務(wù)無法完成時，系統(tǒng)應(yīng)具備任務(wù)重規(guī)劃與優(yōu)雅降級的能力。這要求系統(tǒng)開發(fā)能夠應(yīng)對執(zhí)行失敗和環(huán)境變化的動態(tài)重規(guī)劃器，并設(shè)計允許在部分功能喪失時切換到備用模式或安全模式的系統(tǒng)架構(gòu)。
（三）大模型復(fù)原力
大模型龐大的參數(shù)量與訓練開銷要求其在訓練和推理階段都具有良好的復(fù)原力?；谒季S回滾的推理框架，通過輔助大模型自適應(yīng)地建立思維結(jié)構(gòu)并保持有效推理，可以提高大模型的復(fù)原力。與此同時，研究發(fā)現(xiàn)，當從大語言模型中刪除重要特征后，模型會重新分配概念，使其能夠在重新訓練的幾個時期內(nèi)恢復(fù)性能，這種性能的恢復(fù)歸因于被裁剪概念在模型后層的重新分布。針對語言不一致性和模型幻覺問題，采用自評估與一致性校正手段，可以降低越獄或誤導(dǎo)性攻擊的利用面，從而提升模型在對抗下的穩(wěn)健性。這些研究表明，在大模型設(shè)計階段需要融入低成本的噪聲修正與自適應(yīng)恢復(fù)機制。
盡管已有研究在狀態(tài)監(jiān)測與影響消除方面取得了顯著進展，但仍存在諸多局限。首先，大多數(shù)方法依賴于額外的干凈數(shù)據(jù)或輔助模型來實現(xiàn)模型修復(fù)與風險移除，在現(xiàn)實應(yīng)用中往往難以保證實時性，且會帶來額外開銷。其次，現(xiàn)有的狀態(tài)監(jiān)測方法多聚焦于單一維度的異常信號，在面對復(fù)雜、多源攻擊或耦合型異常時，易出現(xiàn)漏檢或誤判。在大模型場景下，參數(shù)規(guī)模龐大、推理復(fù)雜性高，現(xiàn)有復(fù)原方法在效率和可控性上均存在不足。因此，未來亟需探索低成本、高實時性的復(fù)原力技術(shù)。表3對比了不同類型的AI復(fù)原力相關(guān)技術(shù)的適用場景與資源開銷情況。
表3 常用AI復(fù)原力技術(shù)的適用場景與資源開銷情況
六、人工智能進化力技術(shù)現(xiàn)狀
進化力體現(xiàn)AI系統(tǒng)在面對環(huán)境變化、任務(wù)升級或新型威脅時，能夠自主適應(yīng)并不斷優(yōu)化自身的能力。這種自我進化能力使AI可以長期保持競爭力，特別是在動態(tài)對抗環(huán)境中，更具生存優(yōu)勢。AI系統(tǒng)韌性的進化力維度反映系統(tǒng)面對壓力或環(huán)境變化時，自我升級、不斷適應(yīng)與進步的能力，其基礎(chǔ)能力包括環(huán)境感知能力與持續(xù)學習能力。如圖5所示，具有進化力的AI系統(tǒng)從歷史任務(wù)數(shù)據(jù)和風險數(shù)據(jù)中獲取經(jīng)驗，同時根據(jù)目標與場景更新提取環(huán)境信息，依賴持續(xù)學習機制持續(xù)擴大系統(tǒng)的能力空間，并兼顧穩(wěn)健性、防御力和復(fù)原力增強。
（一）環(huán)境感知
環(huán)境感知能力是智能系統(tǒng)進化力的基礎(chǔ)。與側(cè)重異常檢測的狀態(tài)監(jiān)測能力和攻擊識別能力相比，環(huán)境感知能力旨在從變化的環(huán)境中獲取有助于模型進化的信息。其中，元學習通過模仿生物智能，可以利用已有知識快速學習新的未見事物。原型網(wǎng)絡(luò)利用樣本點與原型點的特征距離輔助學習，適用于小樣本場景。關(guān)系網(wǎng)絡(luò)通過神經(jīng)網(wǎng)絡(luò)計算圖像特征之間的相似性，從而實現(xiàn)分類。流域自適應(yīng)神經(jīng)網(wǎng)絡(luò)能夠在無需重新標記的情況下，通過非獨立同分布流量提高移動應(yīng)用程序識別的準確性。在具身智能方面，一些研究利用內(nèi)在激勵機制（如好奇心）驅(qū)動智能體探索環(huán)境、嘗試新交互，并結(jié)合自監(jiān)督學習改進模型與技能。
圖5 AI進化力構(gòu)成
（二）持續(xù)學習
在環(huán)境感知的基礎(chǔ)上，持續(xù)學習能力利用從環(huán)境中獲取的可用信息增強智能模型在變化環(huán)境中的適應(yīng)性和可用性。由于深度學習模型微調(diào)過程存在災(zāi)難性遺忘現(xiàn)象，持續(xù)學習能力要求實現(xiàn)模型可塑性和記憶穩(wěn)定性的平衡。持續(xù)學習與終身適應(yīng)要求智能體在不遺忘舊知識的前提下，持續(xù)從新的交互經(jīng)驗中學習新技能、適應(yīng)新物體或環(huán)境。因此，目前的研究方向包括設(shè)計能容納新知識而不干擾舊知識的網(wǎng)絡(luò)結(jié)構(gòu)（如漸進神經(jīng)網(wǎng)絡(luò)）、能夠?qū)崿F(xiàn)快速適應(yīng)新任務(wù)的學習方法（如元學習等）。此外，也有研究對神經(jīng)網(wǎng)絡(luò)的持續(xù)學習方法進行了系統(tǒng)性綜述。
在線模型策略更新能力使智能體能夠利用實時交互數(shù)據(jù)，更新內(nèi)部世界模型或行為策略?，F(xiàn)有研究主要從模型參數(shù)更新與原始能力保持角度開展研究，結(jié)合訓練得到的動力學模型和無模型微調(diào)，實現(xiàn)在線策略適應(yīng)。端到端視覺運動策略支持在線模型微調(diào)。突觸智能方法通過評估模型參數(shù)對總損失變化的貢獻及其在訓練軌跡上的更新長度，近似計算每個參數(shù)的重要性，用于在線更新。視覺表征學習（SimCLR）利用數(shù)據(jù)增強，讓神經(jīng)網(wǎng)絡(luò)通過區(qū)分圖像類別來學習特征表示。動量對比方法通過構(gòu)建帶有隊列和移動平均機制的動態(tài)字典，促進無監(jiān)督視覺表示學習。掩碼自編碼器（MAE）通過屏蔽部分像素并重建缺失區(qū)域，獲得圖像特征。
在流量識別方面，通過在傳輸控制協(xié)議（TCP）原始特征層面模擬現(xiàn)實世界的流量變化，數(shù)據(jù)增強方法提升了對網(wǎng)絡(luò)變化的穩(wěn)健檢測能力?；诟拍钇茩z測與自適應(yīng)的方法，利用滑動窗口對流量分段，結(jié)合長短期記憶網(wǎng)絡(luò)（LSTM）捕獲時間序列的長期依賴，并通過多頭自注意機制賦予重要特征更高權(quán)重，從而提升適應(yīng)不同網(wǎng)絡(luò)環(huán)境的檢測性能。
在安全性進化方面，基于聚類的模型后門取證技術(shù)通過已知后門樣本對觸發(fā)器進行聚類，實現(xiàn)攻擊分類與總結(jié)，并合成后門掃描程序以檢測其他模型中的相同類型后門。此外，具備在習得的世界模型中進行內(nèi)部模擬與規(guī)劃的智能體能夠在虛擬世界中進行推演，進而提升在真實環(huán)境中確保安全行動的能力。
在持續(xù)學習范式之外，近年來的研究進一步將進化力擴展到覆蓋“任務(wù)生成 ? 模型適應(yīng) ? 策略回溯”框架，其中自動課程學習通過根據(jù)智能體當前能力動態(tài)生成任務(wù)難度，使模型能夠在結(jié)構(gòu)化挑戰(zhàn)中保持穩(wěn)定成長，避免陷入過早飽和或訓練停滯。群體式與演化式訓練則利用種群搜索、多智能體協(xié)作等方式，通過遺傳變異、策略交叉與競爭選擇等不斷優(yōu)化行為策略，實現(xiàn)比個體訓練更高的適應(yīng)性與探索效率。相關(guān)方法已在強化學習、機器人控制和自適應(yīng)規(guī)劃任務(wù)中展示出優(yōu)于傳統(tǒng)訓練范式的進化穩(wěn)定性。與此同時，面向復(fù)雜環(huán)境的模型開始集成環(huán)境建模、內(nèi)部模擬與自監(jiān)督重構(gòu)，使智能體能夠通過虛擬世界中的推演實現(xiàn)更高層次的自我調(diào)整與策略更新，這些工程化機制共同推動了進化力從局部學習能力邁向系統(tǒng)級的自主演化能力。
（三）大模型進化力
針對大模型訓練成本高昂問題，研究者提出了一系列進化力進化方法。持續(xù)預(yù)訓練可用于擴展模型對語言的基本理解；持續(xù)指令調(diào)優(yōu)則通過在多任務(wù)場景下進行指令微調(diào)，使模型獲得解決新任務(wù)的能力；大型語言模型作為進化策略工具，通過模擬進化過程，在復(fù)雜任務(wù)中實現(xiàn)自我調(diào)整與改進。模型權(quán)重進化可實現(xiàn)知識融合，使模型在多樣化數(shù)據(jù)環(huán)境中保持高性能，增強適應(yīng)性和穩(wěn)健性。此外，智能體核心架構(gòu)設(shè)計原則、多智能體協(xié)作機制、持續(xù)進化路徑以及實際應(yīng)用挑戰(zhàn)等均已得到深入闡述。
在此基礎(chǔ)上，進化力進一步體現(xiàn)為“預(yù)訓練 ? 指令課程 ? 自反思”的演化路徑。“自反思 ? 自糾偏”機制利用模型自身生成的思維鏈、反思軌跡和錯誤診斷信號，對推理失誤進行回溯修正，實現(xiàn)模型行為的閉環(huán)自我進化。近年來，還出現(xiàn)了將大語言模型作為演化策略生成器或控制器的研究方向，通過將模型置于群體演化框架中，使其能夠在復(fù)雜任務(wù)上對自身推理方式與參數(shù)分布進行迭代式改進。
盡管相關(guān)研究已在環(huán)境感知、持續(xù)學習和大模型優(yōu)化等方面取得了進展，但仍存在泛化能力不足、在復(fù)雜開放環(huán)境中適應(yīng)性有限的問題。進化力研究多聚焦于模型層面的改進，對安全性、可解釋性和倫理約束下的自我進化機制探索仍然不足。因此，未來亟需發(fā)展兼顧高效性、可控性和可解釋性的進化力增強技術(shù)，以支撐AI在復(fù)雜動態(tài)環(huán)境下的長期自主演化。
七、人工智能韌性提升存在的突出問題
（一）AI韌性建設(shè)缺乏頂層規(guī)劃
當前，AI韌性建設(shè)缺少統(tǒng)一規(guī)劃，各維度技術(shù)研發(fā)投入不平衡，以訓練時穩(wěn)健性和部署后防御力建設(shè)為主，對被破壞后復(fù)原力和恢復(fù)后進化力的研究存在不足。在AI韌性能力的4個維度中，聚焦訓練階段的穩(wěn)健性提升和部署階段的防御能力強化。具體來看，在訓練階段，模型的泛化性增強和穩(wěn)健訓練受到較多關(guān)注，相關(guān)邏輯推理的研究雖然相對偏少，但隨著大模型技術(shù)的發(fā)展逐漸受到重視。此外，在訓練階段，主要利用對抗樣本生成、數(shù)據(jù)增強、遷移學習等方法，使模型對擾動、噪聲的容忍度以及在不同環(huán)境下的泛化能力可以一定程度上得到有效提升；在部署階段，側(cè)重于建立信息限制、攻擊識別與攻擊防御機制，提升AI系統(tǒng)對內(nèi)外部攻擊的抵御能力。然而，相較之下，對AI系統(tǒng)在遭遇破壞后的復(fù)原力和恢復(fù)過程中的進化能力方面的研究仍顯不足，缺乏系統(tǒng)性的方法論和可落地的技術(shù)手段。在復(fù)原力方面，盡管已有研究對AI模型自身狀態(tài)監(jiān)測以及影響消除方面進行了探討，但很多方法仍停留在靜態(tài)恢復(fù)和簡單重復(fù)訓練層面，傾向于使用經(jīng)典的異常檢測或較為低效的事后取證等手段，缺乏對高效、準確的自我診斷和自我修復(fù)能力的深入挖掘。在進化力方面，AI模型天然具備從數(shù)據(jù)中學習經(jīng)驗并進行能力增強的能力，但如何在恢復(fù)過程中“越挫越強”，實現(xiàn)從“被動修復(fù)”向“主動進化”轉(zhuǎn)變，使AI系統(tǒng)不僅能夠恢復(fù)原有狀態(tài)，還能通過學習異常事件中的新模式、新知識，提升整體性能與適應(yīng)性，仍是一個尚未充分解決的研究難題。
（二）韌性評測缺少適合的實驗場景
當前，AI韌性的評測體系仍不完善，尤其是在實驗場景的設(shè)計與構(gòu)建方面存在明顯不足。多數(shù)現(xiàn)有評測方法側(cè)重于算法層面的指標，如準確率、召回率、攻擊成功率等，但這些指標僅能用于實驗室環(huán)境、單一韌性維度等，缺乏貼近實際應(yīng)用場景、能夠綜合反映AI系統(tǒng)在復(fù)雜環(huán)境中韌性能力的標準化評測框架。一方面，現(xiàn)實世界中的不確定性和多樣性難以在受控實驗環(huán)境中完整模擬，如自然災(zāi)害引發(fā)的數(shù)據(jù)異常、黑客攻擊造成的模型失效、系統(tǒng)組件突發(fā)故障等情境，難以系統(tǒng)還原并用于評估AI系統(tǒng)的應(yīng)對能力。另一方面，當前缺少針對不同韌性維度（如穩(wěn)健性、防御力、復(fù)原力、進化力）構(gòu)建的多層次、動態(tài)化測試場景，難以全面刻畫AI系統(tǒng)在各類沖擊下的行為反應(yīng)和恢復(fù)路徑。因此，亟需構(gòu)建高保真、可復(fù)現(xiàn)、具挑戰(zhàn)性的韌性評測基準和實驗平臺，涵蓋從算法級到系統(tǒng)級、從單一故障到復(fù)合擾動的多種場景，為不同AI系統(tǒng)的能力對比與優(yōu)化提供統(tǒng)一標準和可量化依據(jù)，以推動AI韌性的實際落地。
（三）大模型韌性建設(shè)需進一步重視
大模型作為新型信息基礎(chǔ)設(shè)施的重要組成部分，在關(guān)鍵場景中的廣泛應(yīng)用使其韌性能力愈發(fā)關(guān)鍵。從能力基礎(chǔ)看，大模型在穩(wěn)健性、防御力、復(fù)原力和進化力等方面具備天然優(yōu)勢，如參數(shù)冗余與泛化能力有助于抵御數(shù)據(jù)擾動，強表示能力可為異常檢測與攻擊識別提供支撐，“即插即用”模塊化設(shè)計有利于故障后的快速恢復(fù)，持續(xù)學習與遷移能力則支持模型隨環(huán)境變化進行適應(yīng)和優(yōu)化。因此，系統(tǒng)挖掘和強化大模型的韌性潛力，是提升其復(fù)雜環(huán)境適用性的關(guān)鍵路徑。從信息基礎(chǔ)設(shè)施安全運行角度看，大模型一旦出現(xiàn)失效或被攻擊，可能引發(fā)跨系統(tǒng)、跨場景的連鎖風險，影響智能化應(yīng)用鏈條的穩(wěn)定性。因而有必要將大模型納入統(tǒng)一的韌性建設(shè)框架，從技術(shù)、系統(tǒng)工程與管理機制等層面協(xié)同推進，提升其在攻擊防御、故障容錯與災(zāi)難恢復(fù)等方面的綜合抗風險能力，保障核心功能的持續(xù)運行與快速恢復(fù)。
八、提升人工智能韌性的發(fā)展建議
（一）加強戰(zhàn)略引領(lǐng)，構(gòu)建系統(tǒng)化韌性框架
建議從國家戰(zhàn)略和行業(yè)標準層面，推動AI韌性的頂層設(shè)計，明確其在國家安全、產(chǎn)業(yè)發(fā)展和數(shù)字基礎(chǔ)設(shè)施建設(shè)中的定位與目標。統(tǒng)籌構(gòu)建包括技術(shù)研究路線圖、政策支持體系和標準規(guī)范體系在內(nèi)的系統(tǒng)性建設(shè)框架，覆蓋穩(wěn)健性、防御力、復(fù)原力和進化力四大核心維度。同時，鼓勵“產(chǎn)學研用”協(xié)同攻關(guān)，形成從基礎(chǔ)理論、關(guān)鍵技術(shù)、系統(tǒng)設(shè)計到落地應(yīng)用的完整鏈條，為AI韌性發(fā)展提供制度保障和創(chuàng)新生態(tài)支持。
在技術(shù)層面，建議推動輕量化、低開銷的穩(wěn)健訓練方法研究，解決現(xiàn)有穩(wěn)健性增強訓練開銷過大、可用性下降的問題；發(fā)展適應(yīng)復(fù)雜物理環(huán)境與跨域數(shù)據(jù)分布的泛化增強方法；強化主動式防御技術(shù)研發(fā)，如基于攻擊行為誘導(dǎo)、追蹤和欺騙的攻擊識別方法，以彌補被動檢測在模型竊取、反演等場景下的不足；開發(fā)面向大模型的低延遲、可擴展的狀態(tài)監(jiān)測與修復(fù)技術(shù)，減少對額外干凈數(shù)據(jù)和輔助模型的依賴，提升實時性；研究可控的自我進化機制，使模型在環(huán)境動態(tài)變化下能自主調(diào)整結(jié)構(gòu)與訓練目標，同時保證安全性、可解釋性與倫理約束。
（二）構(gòu)建高保真、多維度、可復(fù)現(xiàn)的韌性評測體系
建議加快建設(shè)面向AI韌性的標準化評測平臺和場景庫。可結(jié)合典型應(yīng)用領(lǐng)域（如金融、醫(yī)療、交通、工業(yè)控制等），設(shè)計具有多樣性、動態(tài)性和完備性的仿真環(huán)境，涵蓋對抗攻擊、數(shù)據(jù)異常、系統(tǒng)故障、環(huán)境突變等多種挑戰(zhàn)情形。推動并制定統(tǒng)一的韌性評估指標體系，實現(xiàn)從算法級到系統(tǒng)級的多層次評測，支持模型在韌性4個維度上的綜合能力比較與量化。同時，注重可復(fù)現(xiàn)性與開放共享，構(gòu)建行業(yè)共用的韌性評測基準，提升研究和實踐的一致性與可持續(xù)性。
在技術(shù)層面，建議建設(shè)多模態(tài)、多任務(wù)、多場景的韌性測試基準數(shù)據(jù)集，特別是覆蓋長對話、多輪推理、跨模態(tài)協(xié)同等新興大模型應(yīng)用場景；引入可量化的開銷指標（如穩(wěn)健訓練計算開銷、攻擊識別成本、復(fù)原延遲等），避免評測維度只關(guān)注安全性而忽視模型可用性；開發(fā)可重現(xiàn)的模擬攻擊與自適應(yīng)對抗環(huán)境，用于評估模型在面對先進攻擊者時的防御與進化能力；研究可解釋性評估方法，在穩(wěn)健性與防御力測試中結(jié)合邏輯鏈條、因果關(guān)系分析，以檢驗?zāi)Ｐ驮诎踩c解釋維度的韌性。
（三）挖掘大模型潛力，推動多層級韌性提升
建議將大模型列為AI韌性體系重點對象，系統(tǒng)挖掘其在穩(wěn)健性、防御力、復(fù)原力與進化力方面的內(nèi)在潛力，構(gòu)建“訓練 ? 部署 ? 運行 ? 更新”全生命周期的韌性保障機制。推動韌性4個維度關(guān)鍵技術(shù)的研究及與現(xiàn)實場景的融合應(yīng)用；在系統(tǒng)層面，強化大模型在備份、容錯、資源調(diào)度等方面的韌性能力；在管理層面，建立大模型在關(guān)鍵基礎(chǔ)設(shè)施中的運行監(jiān)測與風險預(yù)警機制，確保面對突發(fā)風險或內(nèi)外部攻擊時可快速響應(yīng)、穩(wěn)定運行與能力升級。
在技術(shù)層面，建議引入低開銷穩(wěn)健訓練與高效防御增強策略，緩解大模型訓練成本過高的問題；研發(fā)針對大模型長鏈推理、多輪對話的穩(wěn)健性增強技術(shù)，確保復(fù)雜任務(wù)中輸出的可靠性與一致性；建立面向大模型的實時風險監(jiān)測與主動干預(yù)機制，如結(jié)合哈希追蹤、動態(tài)擾動、對話趨勢分析等方法，抵御竊取與投毒攻擊；探索自適應(yīng)演化機制，使大模型在保障安全與倫理邊界的前提下，能通過持續(xù)學習與參數(shù)修正實現(xiàn)長期韌性提升。
九、結(jié)語
隨著AI技術(shù)日益成為國家關(guān)鍵基礎(chǔ)設(shè)施的核心支撐，其韌性已不再是附屬屬性，而是保障系統(tǒng)安全、穩(wěn)定與可持續(xù)運行的核心要素。本文圍繞穩(wěn)健性、防御力、復(fù)原力與進化力4個維度，系統(tǒng)構(gòu)建了AI韌性的能力框架，全面梳理相關(guān)研究進展，識別了當前發(fā)展中的關(guān)鍵短板，尤其是在大模型背景下韌性構(gòu)建的滯后與評估機制的缺失。研究表明，構(gòu)建高韌性的AI系統(tǒng)不僅是實現(xiàn)AI安全性與可靠性的基本要求，更是其在復(fù)雜現(xiàn)實環(huán)境中實現(xiàn)長期自主演化與服務(wù)保障的前提。
展望未來，AI韌性的研究應(yīng)從戰(zhàn)略層面加強頂層設(shè)計，構(gòu)建統(tǒng)一、系統(tǒng)化的技術(shù)路線圖。同時，聚焦現(xiàn)實應(yīng)用需求，建設(shè)具備高保真性、場景多樣性與可重復(fù)性的評測體系，形成可操作、可量化的韌性評價標準。在此基礎(chǔ)上，特別要關(guān)注大模型等前沿技術(shù)在訓練、部署與運維全過程中的脆弱環(huán)節(jié)，推動其在全生命周期中實現(xiàn)多層級韌性的提升。只有這樣，AI系統(tǒng)才能真正實現(xiàn)從高性能向高可靠、高韌性的根本轉(zhuǎn)型，成為未來信息基礎(chǔ)設(shè)施中值得信賴的智能引擎。
注：本文內(nèi)容呈現(xiàn)略有調(diào)整，若需可查看原文。
