AI治理

AI平台的零信任架構

在AI治理的框架下,AI平台的零信任架構已經從概念走向落地。當大模型開始接觸企業數據,傳統的"邊界信任"安全模型已經失效:防火牆內並非淨土,而AI讓攻擊面變得更大、更復雜、更隱蔽。

零信任對 AI 平臺而言,具體意味着什麼?

零信任的原則是:任何用戶、設備、工作負載或網絡位置默認都不可信;每一次訪問決策都要顯式做出,只授予所需的最小權限,並且以「某處已經發生了入侵」爲前提。把這一原則應用到 AI 平臺時,原則本身沒有變,但幾乎所有實現細節都變了,因爲發出訪問請求的東西不再只是人。

傳統的企業系統擁有一組有邊界的身份:員工、服務賬號,以及少量集成。AI 平臺則新增了幾類邊界時代的控制手段從未被設計去應對的東西:

  • 代表用戶行事的智能體。一個會讀取文檔、調用內部 API 並寫入記錄的系統,繼承了用戶的權限,卻沒有繼承用戶的判斷力。你讓它嘗試什麼,它就會嘗試什麼。
  • 非確定性的執行路徑。同樣的輸入,明天可能產生不同的工具調用序列。你無法預先批准一條在運行時刻才決定的路徑,因此授權必須按動作來判定,而不是按會話來判定。
  • 被當作數據對待的概率性輸出。生成的文本會以「權威」的姿態進入下游系統。消費它的任何環節,都可能依據一段沒有任何人撰寫或審閱過的內容採取行動。
  • 第三方模型端點。提示詞與檢索到的上下文會離開網絡,交由供應商處理。這是一條承載着你最敏感的已拼裝上下文的出站通道。
  • 橫跨信任域的檢索麪。一個由密級混雜的文檔構建出的向量索引,可能因爲一個無傷大雅的問題而把一段受限內容呈現出來。

由此得出的運維結論是:AI 的零信任更多關乎按動作的授權、數據溯源與輸出處理,而不是網絡分段。問題從「這個請求是否來自網絡內部」轉向了「這個具體動作、針對這條具體記錄、由這個具體智能體、代表這個具體用戶、在此時此刻是否被允許」。

能否把它做對,正是一個 AI 平臺能否向整個組織開放、與只能鎖在一個小試點團隊手裏之間的分界線。

爲什麼傳統的邊界控制對 AI 負載會失效?

邊界安全假設你能區分內部與外部,並假設需要保護的貴重資產位於某道邊界之後。在 AI 平臺中,這兩個假設都不成立。

邊界消失了,但數據被拼裝起來了。檢索增強生成會刻意把來自多個來源的片段拉進同一個上下文窗口。每個來源可能各自都受到保護,但拼裝出來的提示詞卻可能比其中任何一份文檔都更敏感,因爲它把它們組合在了一起。邊界控制看到的是許多次已授權的讀取;而 AI 系統看到的是一件必須被整體定密的複合製品。

授權現在要按動作判定,而不是按會話判定。一個被授權讀取文檔庫的會話,並不因此就被授權把其中內容發郵件到外部。有了智能體在環裏,這個區別恰恰就是最容易被模糊掉的那一處。智能體會去做任務所隱含的事,而任務隱含的範圍,往往比用戶手動去做時更廣。

身份被委託並被串成鏈條。用戶問助手,助手調工具,工具調 API,API 查數據庫。到了第四跳,原始用戶的權限已經以一種幾乎沒有系統記錄的方式被傳遞了下去。沒有顯式委託令牌,每一跳都會以一個權限很寬的服務賬號身份運行。

輸出本身就是一條外泄通道。摘要、翻譯和代碼生成都是正當功能,卻都能把敏感內容搬進一種看起來無害的形式裏。一個被要求「把你看到的文檔做個總結」的模型,會照做,而且做給任何提出這個要求的人。

假設傳統系統AI 平臺的現實
信任邊界網絡邊界按動作、按數據元素
身份用戶或服務賬號委託鏈:用戶、智能體、工具、API
執行確定性且預先批准由模型輸出在運行時刻決定
敏感資產數據庫或文件存儲拼裝出的上下文與生成的輸出
外泄風險對外文件傳輸被摘要或翻譯過的文本

務實的解讀不是「現有控制沒用了」,而是「它們是必要的,但已不再充分」。身份、分段和監控依然極其重要,只是它們已經覆蓋不到那些屬於概率性、委託式、檢索驅動系統的失效模式。

AI 平臺帶來了哪些新的攻擊面?

六個攻擊面解釋了大部分新增風險,每一個都有各自對應的控制手段,把它們混爲一談會導致買錯工具。

  1. 提示詞注入,直接的與間接的。直接注入是用戶構造輸入來覆蓋指令。間接注入危險得多:把惡意指令放進模型代表用戶去處理的檢索文檔、網頁或郵件裏。模型無法可靠地區分「內容」與「指令」,因此緩解措施必須是結構性的——約束工具能做什麼,而不是約束文本說了什麼。
  2. 工具與動作濫用。智能體擁有的每一種能力,都能通過語言被觸達。如果一個智能體能發郵件、刪記錄或轉錢,一次成功的注入就能觸發這些動作。這裏的控制關乎能力範圍、人工審批閾值和冪等性,而不是過濾。
  3. 跨密級的檢索泄露。向量索引沒有原生的密級概念。若在查詢時刻不強制執行按文檔粒度的訪問控制,檢索就會把請求者在源系統里根本打不開的內容呈現出來。這是 AI 平臺評估中最常見的嚴重發現。
  4. 訓練與微調數據暴露。用於微調的數據可能被記憶並複述。敏感記錄未經專門決策不應進入訓練集,即便進了也應做記憶化評估。
  5. 模型與依賴的供應鏈。開放權重模型、適配器、向量化模型以及圍繞它們的軟件包,全都是可執行的供應鏈。序列化格式與加載路徑中的遠程代碼執行風險是真實存在的,不是理論上的。
  6. 把輸出消費當作注入載體。生成的內容經常被渲染進瀏覽器、作爲代碼執行,或送入另一個系統。請把每一個模型輸出都當作消費它的系統的不可信輸入。

請注意這份清單裏缺了什麼:模型權重本身。在實踐中,常見得多的失效發生在周圍的管道里——智能體被允許做什麼、檢索能呈現出什麼、以及輸出最終去了哪裏。把注意力放在模型上而忽略管道的安全方案,總是會漏掉真正發生的事故。

如何爲智能體與流水線建立身份與最小權限?

身份是一切其他控制所依賴的控制面。對 AI 平臺而言,這項工作包含四個部分。

給每個智能體一個可驗證的獨立身份。不要共用服務賬號。每個智能體定義、每個流水線階段、每個工具連接器,都有自己的工作負載身份、自己的憑據、自己的審計軌跡和自己的吊銷路徑。當出問題時——而它一定會出問題——能夠只吊銷一個智能體而不停掉整個平臺,這份價值就抵得過搭建成本。

讓用戶的身份在鏈路中傳遞下去。使用短時效、限定受衆的委託令牌,而不是在第一跳就把用戶上下文替換成服務身份。令牌中應當攜帶:原始用戶是誰、他授權了什麼、正在行動的是哪個智能體,以及一個以分鐘計的過期時間。每一個下游服務都要校驗令牌,並針對「用戶加智能體」的組合身份做授權,而不只是針對智能體。

按任務而不是按系統來界定能力。一個回答發票問題的智能體需要讀發票的權限。它不需要寫權限,不需要訪問薪酬數據,也不需要發郵件。爲每個智能體定義一份能力清單——哪些工具、哪些數據域、哪些動作——並在工具網關處強制執行,而不是寫在提示詞裏。

把讀、寫和不可撤銷的動作分開。讀權限可以在有良好審計的前提下放寬。寫權限需要更嚴格的範圍界定,並且通常需要冪等鍵。不可逆的動作——發送對外消息、執行付款、刪除記錄——應當要求顯式的人工審批,並把請求內容、受影響的記錄和推理過程一併展示給審批人。

有兩個實現細節,其重要性遠超表面所見。第一,在工具網關處強制執行授權,這樣即使模型被攻陷或注入成功,也無法觸達從未被授予的能力。第二,讓委託令牌激進地過期;存活時間長於任務的令牌,會把一次性的範圍化權限變成一個常設權限。

如何保護流入和流出模型的數據?

AI 的數據保護有三個不同的時刻,而大多數方案只處理了其中一個。

入:什麼進入了上下文。被檢索的文檔必須帶着密級一起走,而檢索必須在結果到達模型之前就按請求者的密級做過濾。請在檢索層強制執行,而不是對模型輸出做事後過濾——到那時內容已經被處理過了。當數據源橫跨多個密級時,應按密級維護獨立的索引,而不是建一個混合索引再在上面加過濾;過濾的缺陷是無聲的,而且是災難性的。

處理:供應商看到了什麼。要明確決定推理在哪裏跑。對於敏感負載,使用一個提示詞與補全結果不被留存、也不被用於訓練的部署形態;優先選擇私有或虛擬私有部署而非共享端點,並把這一決定記入風險登記冊。當提示詞必須流向第三方時,先剝離或令牌化直接標識符,並記錄發送了什麼。

出:什麼回來了、去了哪裏。生成的輸出就是數據。對它套用與文檔相同的密級與處理規則:在渲染前掃描敏感模式,限制它可以被存儲或轉發到哪些地方,並在可行時加水印。將被渲染進瀏覽器的輸出,必須像對待任何其他不可信輸入一樣做轉義。

再補充兩項橫切實踐。把提示詞與檢索日誌當作安全遙測來保存,套用與數據庫審計日誌相同的留存期與訪問控制——它們往往包含着組織內最敏感的已拼裝內容。以及爲向量定義留存立場:向量表示可以被反推到足以還原出近似原文的程度,因此它們不是匿名製品,不應被無限期留存。

應該如何對 AI 平臺做分段與監控?

分段與監控,是零信任從一份文檔變成一種運維姿態的地方。

請沿三個軸而不是一個軸做分段:

  • 環境。把 AI 的開發、評測與生產環境分開,各自使用不同的憑據、不同的數據,並且開發環境中不放生產數據。評測環境尤其常被忽略,而它往往含有生產樣本。
  • 數據域。按密級和按數據域把檢索存儲分開,這樣營銷索引被攻陷也不會波及財務或人力內容。
  • 能力。把只能讀的智能體與能寫的智能體分開,再把兩者與能執行不可逆動作的智能體分開。一個被注入攻陷的只讀智能體,其爆炸半徑遠小於一個帶寫權限的智能體。

監控必須做相應調整,因爲失效特徵不同。傳統安全監控尋找的是異常訪問;AI 平臺監控還必須尋找已授權身份的異常行爲——某個智能體突然調用一個它從未用過的工具、檢索量異常放大,或產出了觸發內容過濾器的輸出。

需要採集的信號爲什麼重要能發現什麼
帶完整參數的工具調用日誌展示智能體嘗試了什麼,而不只是成功了什麼注入嘗試、能力濫用
檢索查詢與返回的文檔標識精確重建進入了上下文的內容跨密級泄露、異常訪問
每個請求的委託令牌血緣追溯是哪個用戶與哪個智能體授權了每個動作權限串聯、身份混淆
輸出去向與下游消費情況追蹤生成內容最終落在了哪裏通過摘要進行的靜默外泄
被拒絕的動作嘗試失敗的授權是最好的早期預警探測行爲、過寬的智能體權限

要專門針對被拒絕的動作設置告警。一個範圍界定良好的智能體,幾乎不該去嘗試它無權做的事;拒絕次數的突然上升,要麼意味着配置錯誤,要麼意味着一次注入嘗試,而兩者都值得立即關注。

如何處理供應鏈與模型來源風險?

AI 平臺是由許多並非你建造的組件拼裝而成的:基座模型、適配器、向量化模型、智能體框架,以及圍繞它們的一大棵依賴樹。每一個都是一條可執行的供應鏈。

  1. 維護帶有來源信息的模型清單。對每一個在用的模型記錄:來源、版本、許可協議、已知漏洞、誰批准的、以及它被允許處理什麼數據。沒有這份清單,你無法回答審計師「哪些模型接觸過客戶數據」的提問。
  2. 鎖定版本並校驗校驗和。模型文件與適配器應像任何其他製品一樣被鎖定並校驗。未鎖定版本的模型引用,是一條等着被人利用的遠程代碼執行路徑。
  3. 避免使用不安全的序列化格式。權重文件優先選擇 safetensors 而非基於 pickle 的格式,並對任何在加載過程中允許可執行內容的格式做掃描。
  4. 持續掃描依賴樹。智能體框架迭代很快,其傳遞依賴迭代更快。帶明確修復時限的自動化掃描是最低要求。
  5. 顯式評估託管與自託管。託管端點降低運維負擔,但把風險集中到一個你必須評估的供應商身上。自託管帶來控制權,卻增加了一個你必須防守的運維面。無論選哪個都要記錄理由。
  6. 在敏感數據上微調之前先做記憶化測試。金絲雀測試——插入已知的唯一字符串、訓練、再探測它是否出現——能對「模型是否複述了訓練數據」給出一個可度量的答案。

有一項治理實踐很快就能回本:要求任何新的模型、適配器或智能體框架都要經過一次評審,評審只問三個問題——它會處理什麼數據、它能做什麼、以及我們如何吊銷它。大多數有風險的新增項都栽在第三個問題上,所以它放在最後問。

一套零信任 AI 平臺參考架構長什麼樣?

把這些控制組裝起來,會得到一套分層架構。層次順序很重要:每一層都以下面那層爲前提。

  1. 身份與訪問。企業級身份提供方,每個智能體與流水線各有工作負載身份,短時效委託令牌,以及按智能體劃分的能力清單。以上一切都以這一層的正確性爲前提。
  2. 網關與策略執行。單一入口點,負責認證、按動作授權、執行速率與成本上限,並路由到模型。所有流量都經過它,沒有任何請求能繞過。
  3. 帶按文檔訪問控制的檢索層。按密級分段的索引,在查詢時刻針對請求身份強制執行訪問控制,並對查詢與返回文檔標識做完整記錄。
  4. 模型服務層。被鎖定且經過校驗的模型,運行在帶有出站限制的隔離環境中,除檢索層提供的通道外,不擁有對生產數據源的隱式訪問。
  5. 工具網關。每一個動作的授權點。校驗委託鏈、檢查能力清單、對不可逆動作執行審批閾值,並記錄參數。
  6. 輸出處理。在生成內容被渲染或存儲之前,對其執行定密、掃描、轉義與去向控制。
  7. 可觀測性與響應。把提示詞、檢索、工具和輸出日誌當作安全遙測來對待,配備針對智能體異常行爲的檢測規則,以及一條經過演練的吊銷路徑。

其中最重要的單一設計屬性是:工具網關是通向動作的唯一路徑。如果一個智能體可以不經過它就觸達某種能力,那麼上述所有控制都能被一句足夠巧妙的提示詞繞過,而讓提示詞變得巧妙的成本極低。

同樣重要的是那條經過演練的吊銷路徑。在一次事故中,真正有用的能力不是檢測,而是在幾分鐘內、無需一次部署就能禁用某個智能體、吊銷其憑據並保全其日誌。從未演練過的團隊,會在事故中才發現吊銷竟然需要一次發版。

如何在不拖慢交付的前提下落地零信任?

零信任方案一旦被當成一道閘門來推行,就會失敗。六項實踐能讓安全與交付同行。

  1. 從資產清單開始,而不是從控制開始。列出每一個智能體、模型、數據源和工具連接,以及它們能觸達什麼數據、能做什麼動作。大多數組織會由此發現一些自己都不知道存在的智能體,而單是這份清單就能消除很大一部分風險。
  2. 先交付網關。讓所有流量經過一個可強制執行的點,是槓桿最高的早期步驟,因爲一旦有了單一的施加點,此後每一項控制都變得更容易。
  3. 新智能體默認只讀。讓寫權限和不可逆能力成爲團隊必須申請並論證的東西,而不是默認就能拿到的東西。這把常見模式倒了過來,並消除大部分意外的過度授權。
  4. 在需要之前就建好審批通道。對不可逆動作的人工在環審批,應當在第一個具備該能力的智能體出現時就存在,而不是在事故之後才補上。
  5. 提供一條鋪好的路。給團隊一個模板智能體,其中身份、日誌、範圍化能力和審批閾值都已經接好了。團隊會繞開需要自己搭建的安全措施,卻會採用開箱即用的安全措施。
  6. 每個季度演練一次事件響應。做一次桌面推演:某個智能體被攻陷,必須被吊銷。第一次演練總會暴露出吊銷比預想的慢,而這正是你希望在演練中發現的東西。

衡量一個方案是否奏效的標準,不是部署了多少項控制,而是這個組織能否隨着時間推移,安全地把更大的能力開放給更多的人。做得好的零信任不會縮小 AI 能做的事,它會讓擴大 AI 被允許觸及的範圍變得安全。

常見問題

零信任意味着任何用戶、設備、工作負載或網絡位置默認都不可信;每次訪問決策都要顯式做出、只授予最小權限,並以「已發生入侵」爲前提。對 AI 平臺而言,實現重心從網絡分段轉向按動作的授權、數據溯源與輸出處理,因爲發出訪問請求的實體現在包括了代表用戶行事的智能體,而且它們沿着非確定性的執行路徑行動。

四個原因:檢索把多個來源的片段拼裝進同一個上下文窗口,其敏感度高於任何單一文檔;授權必須按動作判定,因爲執行路徑是在運行時刻才決定的;身份沿着用戶、智能體、工具、API 的鏈條被委託傳遞;而生成的輸出本身就是一條通過摘要或翻譯實現的外泄通道。

間接提示詞注入是把惡意指令放進模型代表用戶去處理的內容裏,例如檢索到的文檔、網頁或郵件。它比直接注入更危險,因爲攻擊者從不與系統直接交互,而模型也無法可靠地區分內容與指令。緩解措施必須是結構性的:約束工具能做什麼,而不是試圖過濾文本說了什麼。

給每個智能體一個可驗證的獨立工作負載身份,而不是共用服務賬號;用短時效、限定受衆的委託令牌傳遞用戶身份,令牌以分鐘計過期;爲每個智能體定義覆蓋工具、數據域與動作的能力清單,並在工具網關處強制執行;把讀、寫與不可逆動作分開,對最後一類要求人工審批。

在檢索時刻就強制執行訪問控制,而不是對模型輸出做事後過濾,因爲到那時內容已被處理。讓每份文檔帶着密級元數據一起走,並按請求者的密級做過濾。當數據源橫跨多個密級時,應按密級維護獨立索引,而不是建混合索引——混合索引上的過濾缺陷是無聲且災難性的。

不是。向量表示可以被反推到足以還原出近似原文的程度,因此應當被視爲與其來源具有相同密級的派生數據。請爲向量定義明確的留存立場,不要無限期保留,並把它們納入數據主體訪問與刪除流程。

採集帶完整參數的工具調用日誌、檢索查詢及返回的文檔標識、每個請求的委託令牌血緣、輸出去向與下游消費情況,以及被拒絕的動作嘗試。然後針對已授權身份的異常行爲設置告警,例如智能體突然調用從未用過的工具,或被拒絕次數突然上升。

爲每一個在用的模型維護帶來源、許可協議與批准記錄的清單;鎖定版本並校驗校驗和;權重文件優先選擇 safetensors 而非基於 pickle 的格式;持續掃描依賴樹並設定修復時限;顯式評估託管與自託管的取捨;並在敏感數據上微調之前先做金絲雀記憶化測試。

從資產清單而不是控制措施開始;先交付執行網關,讓後續控制有單一的施加點;新智能體默認只讀;在需要之前就建好人工審批通道;提供一個預接好身份、日誌與權限的模板智能體作爲「鋪好的路」;並每個季度演練一次智能體吊銷,讓事件響應成爲被驗證過的能力。

預約個性化演示

準備好改變您的數據策略了嗎?

了解蜂啓諮詢的對話式分析平台如何在整個運營中解鎖實時洞察——從上游數據到下游決策。

預約示範 了解解決方案
3x
典型首年 ROI
78%
更快解決查詢
92%
6 個月內採用率
50+
數據連接器