數據治理

數據架構現代化:為AI就緒準備數據資產

2025年,數據治理已從後台合規功能演變為企業AI成功的戰略推動者。隨著組織擴大AI部署規模,數據資產的品質、可訪問性和可信度成為關鍵差異化因素。本文分析了組織如何現代化其data architecture框架,以支持AI驅動營運同時維護合規所需的治理嚴謹性。

"AI就緒"對數據資產到底意味着什麼?

"AI就緒"已經變成一個意味着一切、因而也意味着什麼都沒有的詞。把它還原爲真正決定AI項目成敗的東西,它指的是數據資產的五個具體屬性。

可被發現。一個原本不瞭解這個系統的人,能找到他需要的數據、理解它包含什麼、並知道它是否可信。在實踐裏,這意味着一個帶有負責人、描述和新鮮度信號的目錄——而不是一份兩年前最後編輯過的wiki頁面。

含義被描述。數據的意義是顯式的:這一列代表什麼、單位是什麼、枚舉值的含義是什麼、以及一個派生術語的業務定義是什麼。這個屬性最常缺失,而它正是一個AI助手"答對"與"答得貌似有理"之間的分界線。

在查詢時受治理。權限在數據被讀取的地方強制,從請求者的身份與權限推導,而不是在導出時施加一次。這正是讓自助變得安全的東西,也是任何一個代表用戶回答問題的AI系統的前提條件。

新鮮度足以支撐決策。不是把"實時"當口號,而是每個數據集都有一份經過測量並公佈的延遲,並且與它所支撐的決策相匹配。需求預測每週刷新沒問題;反欺詐信號每週刷新等於沒有。

可追溯。每一個數字都能順着它的轉換鏈路,一路回到產出它的源系統,並且轉換邏輯是版本化的。當一個AI答案被質疑時——而它一定會被質疑——可追溯性是把一場爭論變成五分鐘覈對、而不是兩週調查的東西。

請注意這份清單裏缺了什麼:特定的存儲技術、特定的供應商、特定的架構。擁有時髦技術棧的組織照樣通不過這些檢驗,而技術並不時髦的組織有時反而通過。AI就緒是元數據、治理和運營紀律的屬性,不是基礎設施的屬性。

爲什麼現代化項目會停滯?

項目由技術而非結果定義。"遷移到lakehouse"是一個沒有自然終點、也無從宣告成功的項目;"把業務團隊從提問到拿到洞察的時間從五天降到四小時以內"則是一個會結束的項目。以技術爲主導的項目,會在"技術已安裝、但沒有任何可觀察變化"的那個時點上失去勢頭。

把複雜度整體搬遷。遷移上千張表和轉換邏輯,卻不重新審視它們到底在做什麼,等於在更貴的基礎設施上覆刻了原有的混亂。數據資產變得更貴、卻沒更好用,而商業論證在項目彙報"遷移完成百分比一片綠"的同時悄然失敗。

沒有下線紀律。舊系統"以防萬一"地繼續運行,然後永遠不關。兩年後,組織在同時爲兩套平臺付費、同時維護兩套邏輯,遷移在形式上完成、在運營上毫無意義。

治理被推遲到第三期。也就是永遠等不到的那一期。數據在負責人、分級和訪問模型被定義之前就落進了新平臺,結果是你得到了一個比起點更大的、未受治理的數據資產。

分析師產能被遷移喫掉。理解現有邏輯的人,和需要去構建新邏輯的人,是同一批人,於是日常報表在整個項目期間持續劣化,原本中立的干係人會變成積極的反對者。

這五條之下是同一個根因:項目被論證爲一次基礎設施升級,而不是一次"組織如何使用數據"的改變。而基礎設施升級,在預算收緊時最容易被砍範圍。

如何評估現狀?

評估應當花三到四周,並且產出決策,而不是產出一份報告。用四個問題來組織它。

我們到底有什麼?盤點數據集、管道和轉換邏輯,併爲每一項記錄負責人、消費方、刷新頻率,以及最後一次被查詢是什麼時候。最後這個字段最有價值:多數數據資產裏有30%到40%的對象在一年內無人讀取,而它們是"刪除"而非"遷移"的候選。

到底什麼在被使用?用查詢日誌,而不是訪談。人們一貫高估自己造的數據集的使用率,低估自己對"通過郵件收到的數據抽取"的依賴。使用數據能終結爭論,更重要的是,它能告訴你哪些數據集必須最先遷移,因爲別的任何順序都會讓業務停擺。

什麼被信任?問每個職能:哪些數字你敢在董事會上直接引用,哪些你會在引用前重新推導一遍。兩者之間的差距就是你的治理欠賬,而它通常集中在少數幾個高風險指標上——這是好消息,因爲它讓工作變得有限。

具體是什麼在卡住AI?把一個現實的AI用例端到端走一遍,記錄每一個因爲數據原因而失敗的環節:沒有描述、沒有負責人、沒有訪問路徑、粒度不對、刷新太舊、沒有血緣。這份清單就是你的現代化backlog,並且它是按具體的東西加權,而不是按架構偏好加權。

把評估輸出成一份決策文檔:什麼遷移、什麼重建、什麼下線、什麼維持不動。最後一類"維持不動"是多數評估會漏掉的那一類,也恰恰是最能改善項目經濟性的一類。

應該在哪些架構模式之間做選擇?

當前實踐由三種模式主導,而選擇的關鍵與其說是"哪個最好",不如說是"你的組織能承受哪種失效模式"。

集中式lakehouse。一個平臺、一個團隊、一套標準,數據分層從原始到整合再到呈現。優勢:一致性、稀缺技能的經濟使用、治理直接。劣勢:中央團隊成爲瓶頸,領域上下文在傳遞中丟失。當組織小到可以由一個團隊hold住領域知識、或者監管一致性比速度更重要時,這是正確的選擇。

Data mesh(數據網格)。領域團隊把自己的數據當作產品來擁有,由聯邦治理提供標準和互操作性。優勢:ownership 可擴展、領域上下文得以保留、沒有中央排隊。劣勢:要求真實的領域能力,以及一個多數組織必須從零建起的聯邦治理職能。當存在多個真正獨立的領域、且中央團隊已被證明是瓶頸時,這是正確的選擇。

Data fabric / 數據虛擬化。數據留在原處,在其上提供統一的訪問與治理層。優勢:啓動快、無需遷移、尊重數據主權邊界。劣勢:查詢性能取決於源系統,治理質量完全取決於元數據層。當數據因監管或主權原因無法移動時,或者作爲物理遷移進行期間的過渡層,這是正確的選擇。

多數大型組織最終走向混合,而這是正確的。重要的紀律是:顯式地決定哪種模式適用於哪個領域、爲什麼,而不是讓每個團隊各自選擇——後者會產出一個沒有任何人能作爲整體來推理的數據資產。

遷移應該按什麼順序推進?

按價值和可逆性排序,而不是隻按技術依賴排序。

第0期——先下線。在遷移任何東西之前先刪掉沒人用的。這是最便宜的一期,它縮小了後續一切的範圍,並且在項目最需要信譽的那個時點產出可見進展。

第一期——一個領域,端到端。挑一個痛點明顯、負責人配合的領域,把它走完整條技術棧:攝取、建模、治理、語義定義,以及一個消費它的AI或分析用例。目標是做出一個可用的參考樣板,而不是完成一次遷移。關於"標準應當是什麼"的一切認知,都來自這一期。

第二期——共享地基。現在構建每個領域都將需要的東西:語義層與指標定義、訪問模型、血緣採集,以及防止平臺變成一張空白支票的成本監控。在領域接入之後再建這些,意味着要建兩遍。

第三期——按模板規模化。以第一期的領域爲模板遷移其餘領域,按業務價值排序。把攝取和轉換模式標準化,讓單領域成本隨每次重複而下降;如果它不下降,就停下來修模板,而不是硬推。

第四期——帶日期地下線。在第三期開始時而不是結束時,就設定遺留平臺的關停日期。沒有承諾的日期,雙軌運行就會變成永久狀態,商業論證永遠無法閉合。

兩條規則把順序維繫在一起。第一,絕不在沒有明確消費者和負責人的情況下遷移一個數據集——無主的數據集是一次沒有終點的遷移。第二,絕不讓遷移百分比成爲頭條指標;改爲彙報從提問到洞察的時長、自助採納率,以及單次查詢成本。

當智能體與檢索進入圖景時,什麼會變?

智能體式和基於檢索的系統,會對數據資產提出傳統BI從未提出過的要求,而這些要求經常被很晚才發現。

機器可讀的語義。人類分析師可以靠問同事來繞過一個含義模糊的列名;模型不能。描述、單位、枚舉值和業務定義必須顯式且結構化,否則系統會自信地推斷出錯誤的含義。

有邊界的查詢面。一個能對任意schema生成任意SQL的智能體,遲早會產出一個緩慢、昂貴、或者錯得看起來很對的查詢。把智能體約束在經過治理的精選視圖和預批准指標上,是運營層面的答案;這也意味着語義層不再只是便利設施,而是控制面。

用於歸因的血緣。當一個AI答案是錯的,第一個問題是"哪個輸入錯了"。沒有血緣你就答不上來,而由此產生的信任流失,會比那次錯誤本身持續得更久。

非結構化數據納入範圍。檢索系統需要文檔——合同、政策、工單、報告——而這些通常躺在數據平臺職責範圍之外的內容系統裏。把它們納入治理,帶版本、分級和過期機制,是傳統數據資產從未做過的工作。

按查詢的成本可觀測性。智能體工作負載是突發式的,而且可能很貴。按查詢、按用戶的成本歸因不是優化練習,它是防止第一個失控的工作負載喫掉平臺預算、並觸發一次緊急關停的東西。

如何爲項目融資與衡量?

按可觀察的結果分期撥款,而不是一次性給一筆多年預算。第一期買評估和首個領域;第二期在參考樣板交付了承諾結果的證據之後釋放。這種結構在預算收緊時保護項目,也保護組織免於爲一個本該停止的項目繼續投入。

衡量四件事。從提問到洞察的時長,針對一組定義好的、反覆出現的問題——要在開始前就測,否則你永遠證明不了它改善了。自助採納率:分析消費中不經過中央團隊的比例。單次查詢或單位價值的成本,這個指標能捕捉"新平臺更好但用不起"這種失效模式。以及下線進展,按帶日期的計劃而非百分比來跟蹤。

再加一項治理指標,因爲它預測收益能否保持:帶有具名負責人、描述和分級的數據集佔比。把數據落地得比治理更快的現代化,只會產出一個更大版本的原有問題。

最後,誠實地跟蹤那個反向指標——數據集與管道的總數。如果它在整個項目期間單調增長,說明你是在整合平臺而沒有簡化數據資產,而運營成本最終會迫使你再做一次同樣的決定。

最常見的錯誤有哪些?

從平臺選型開始。在還不知道哪些數據集重要之前就定了技術,然後發現所選平臺恰好最不適合那個最終最重要的工作負載。

先遷移後下線。因爲"刪除感覺像是另一個決策",就把死重量一路搬過一次昂貴的遷移。

把語義層放在最後建。把指標定義當成平臺的產出而非輸入。定義纔是讓平臺可用的東西;沒有它們,你只是搬了一次存儲。

把治理留到後面某期。在負責人、分級和訪問模型存在之前就落地數據,然後發現事後給一個lakehouse補做分級,遠比一開始定義好要難得多。

沒有下線日期。無限期地雙平臺運行,而遺留資產因爲新平臺還答不了老問題而留住它的用戶。

彙報遷移百分比。一個衡量投入而非結果的指標,而且它總能走到100%,同時項目什麼可觀察的東西都沒交付。

數據架構現代化的核心要點有哪些?

AI就緒是五個屬性——可被發現、含義被描述、查詢時受治理、新鮮度足夠、可追溯——而其中沒有一個是技術選型。

  • 用結果而非平臺定義項目:一個會改善的數字、一個日期、一個具名的團隊。
  • 先下線再遷移;多數數據資產裏30%到40%一年內無人查詢過。
  • 用查詢日誌而非訪談做評估,並把一個真實的AI用例端到端走一遍,以暴露真正的阻塞點。
  • 按領域在lakehouse、mesh、fabric之間做選擇並寫明理由,不要讓各團隊自行選擇。
  • 順序是:下線、參考領域、共享地基、模板化規模化、帶日期的下線。
  • 在領域接入之前就建好語義層,因爲它是智能體訪問的控制面。
  • 按可觀察結果分期撥款,並衡量從提問到洞察的時長、自助採納率和單次查詢成本。

常見問題

五個屬性:數據可通過帶負責人和新鮮度信號的目錄被發現;含義通過列描述、單位、枚舉值和業務定義被顯式描述;權限在數據被讀取時依據請求者身份強制;每個數據集的新鮮度經過測量並公佈,且與它所支撐的決策相匹配;每個數字都能通過版本化的轉換邏輯追溯回源系統。

選擇的關鍵是你的組織能承受哪種失效模式。集中式lakehouse提供一致性和稀缺技能的經濟使用,但會讓中央團隊成爲瓶頸;data mesh讓ownership可擴展並保留領域上下文,但要求真實的領域能力和聯邦治理職能;data fabric啓動快、尊重主權邊界,但犧牲性能且完全依賴元數據質量。多數大型組織最終走向一份寫明理由的、按領域的混合方案。

評估需三到四周;一個端到端跑通的參考領域通常需一個季度;共享地基再需一個季度;模板化規模化則取決於數據資產的體量,通常是數個季度。影響最大的變量是下線紀律:在規模化啓動時就設定遺留系統關停日期的項目會結束,把日期設在結尾的項目不會。

把複雜度整體搬遷:遷移上千張表卻不重新審視它們在做什麼,等於在更貴的基礎設施上覆刻原有的混亂。數據資產變得更貴卻沒更好用,而商業論證在項目彙報「遷移完成百分比一片綠」的同時悄然失敗。

因爲多數數據資產裏有30%到40%的對象在一年內無人查詢過。刪除它是最便宜的一期,它縮小了後續一切的範圍,並且在項目最需要信譽的時點產出可見進展。遷移死重量買不到任何東西,只會永久性地抬高運營成本。

新增五項:含義必須機器可讀,因爲模型無法向同事詢問一個模糊的列名;智能體必須被約束在精選視圖和預批准指標上,而不是任意SQL;需要血緣來把一個錯誤歸因到具體輸入;非結構化文檔必須被納入治理以支撐檢索;還需要按查詢做成本歸因,以防突發式的智能體工作負載喫掉平臺預算。

衡量一組定義好的、反覆出現的問題從提問到洞察的時長(要在開始前就測);自助採納率,即不經過中央團隊的分析消費佔比;單次查詢或單位價值的成本;以及按帶日期計劃跟蹤的下線進展。再加一項:帶具名負責人、描述和分級的數據集佔比,因爲它預測收益能否保持。

把語義層放在最後建。指標定義和業務含義不是現代平臺的產出,而是讓它可用的輸入;對智能體訪問而言,它們更是控制面。在領域接入之後再建這些,意味着要建兩遍。
預約個人化示範

準備好改變您的數據策略了嗎?

了解蜂啟諮詢的對話式分析平台如何在整個營運中解鎖即時洞察——從上游數據到下游決策。

預約示範 了解解決方案
3x
典型首年 ROI
78%
更快解決查詢
92%
6 個月內採用率
50+
數據連接器