2025年,数据治理已从后台合规功能演变为企业AI成功的战略推动者。随着组织扩大AI部署规模,数据资产的质量、可访问性和可信度成为关键差异化因素。本文分析了组织如何现代化其data architecture框架,以支持AI驱动运营同时维护合规所需的治理严谨性。
"AI就绪"对数据资产到底意味着什么?
"AI就绪"已经变成一个意味着一切、因而也意味着什么都没有的词。把它还原为真正决定AI项目成败的东西,它指的是数据资产的五个具体属性。
可被发现。一个原本不了解这个系统的人,能找到他需要的数据、理解它包含什么、并知道它是否可信。在实践里,这意味着一个带有负责人、描述和新鲜度信号的目录——而不是一份两年前最后编辑过的wiki页面。
含义被描述。数据的意义是显式的:这一列代表什么、单位是什么、枚举值的含义是什么、以及一个派生术语的业务定义是什么。这个属性最常缺失,而它正是一个AI助手"答对"与"答得貌似有理"之间的分界线。
在查询时受治理。权限在数据被读取的地方强制,从请求者的身份与权限推导,而不是在导出时施加一次。这正是让自助变得安全的东西,也是任何一个代表用户回答问题的AI系统的前提条件。
新鲜度足以支撑决策。不是把"实时"当口号,而是每个数据集都有一份经过测量并公布的延迟,并且与它所支撑的决策相匹配。需求预测每周刷新没问题;反欺诈信号每周刷新等于没有。
可追溯。每一个数字都能顺着它的转换链路,一路回到产出它的源系统,并且转换逻辑是版本化的。当一个AI答案被质疑时——而它一定会被质疑——可追溯性是把一场争论变成五分钟核对、而不是两周调查的东西。
请注意这份清单里缺了什么:特定的存储技术、特定的供应商、特定的架构。拥有时髦技术栈的组织照样通不过这些检验,而技术并不时髦的组织有时反而通过。AI就绪是元数据、治理和运营纪律的属性,不是基础设施的属性。
为什么现代化项目会停滞?
项目由技术而非结果定义。"迁移到lakehouse"是一个没有自然终点、也无从宣告成功的项目;"把业务团队从提问到拿到洞察的时间从五天降到四小时以内"则是一个会结束的项目。以技术为主导的项目,会在"技术已安装、但没有任何可观察变化"的那个时点上失去势头。
把复杂度整体搬迁。迁移上千张表和转换逻辑,却不重新审视它们到底在做什么,等于在更贵的基础设施上复刻了原有的混乱。数据资产变得更贵、却没更好用,而商业论证在项目汇报"迁移完成百分比一片绿"的同时悄然失败。
没有下线纪律。旧系统"以防万一"地继续运行,然后永远不关。两年后,组织在同时为两套平台付费、同时维护两套逻辑,迁移在形式上完成、在运营上毫无意义。
治理被推迟到第三期。也就是永远等不到的那一期。数据在负责人、分级和访问模型被定义之前就落进了新平台,结果是你得到了一个比起点更大的、未受治理的数据资产。
分析师产能被迁移吃掉。理解现有逻辑的人,和需要去构建新逻辑的人,是同一批人,于是日常报表在整个项目期间持续劣化,原本中立的干系人会变成积极的反对者。
这五条之下是同一个根因:项目被论证为一次基础设施升级,而不是一次"组织如何使用数据"的改变。而基础设施升级,在预算收紧时最容易被砍范围。
如何评估现状?
评估应当花三到四周,并且产出决策,而不是产出一份报告。用四个问题来组织它。
我们到底有什么?盘点数据集、管道和转换逻辑,并为每一项记录负责人、消费方、刷新频率,以及最后一次被查询是什么时候。最后这个字段最有价值:多数数据资产里有30%到40%的对象在一年内无人读取,而它们是"删除"而非"迁移"的候选。
到底什么在被使用?用查询日志,而不是访谈。人们一贯高估自己造的数据集的使用率,低估自己对"通过邮件收到的数据抽取"的依赖。使用数据能终结争论,更重要的是,它能告诉你哪些数据集必须最先迁移,因为别的任何顺序都会让业务停摆。
什么被信任?问每个职能:哪些数字你敢在董事会上直接引用,哪些你会在引用前重新推导一遍。两者之间的差距就是你的治理欠账,而它通常集中在少数几个高风险指标上——这是好消息,因为它让工作变得有限。
具体是什么在卡住AI?把一个现实的AI用例端到端走一遍,记录每一个因为数据原因而失败的环节:没有描述、没有负责人、没有访问路径、粒度不对、刷新太旧、没有血缘。这份清单就是你的现代化backlog,并且它是按具体的东西加权,而不是按架构偏好加权。
把评估输出成一份决策文档:什么迁移、什么重建、什么下线、什么维持不动。最后一类"维持不动"是多数评估会漏掉的那一类,也恰恰是最能改善项目经济性的一类。
应该在哪些架构模式之间做选择?
当前实践由三种模式主导,而选择的关键与其说是"哪个最好",不如说是"你的组织能承受哪种失效模式"。
集中式lakehouse。一个平台、一个团队、一套标准,数据分层从原始到整合再到呈现。优势:一致性、稀缺技能的经济使用、治理直接。劣势:中央团队成为瓶颈,领域上下文在传递中丢失。当组织小到可以由一个团队hold住领域知识、或者监管一致性比速度更重要时,这是正确的选择。
Data mesh(数据网格)。领域团队把自己的数据当作产品来拥有,由联邦治理提供标准和互操作性。优势:ownership 可扩展、领域上下文得以保留、没有中央排队。劣势:要求真实的领域能力,以及一个多数组织必须从零建起的联邦治理职能。当存在多个真正独立的领域、且中央团队已被证明是瓶颈时,这是正确的选择。
Data fabric / 数据虚拟化。数据留在原处,在其上提供统一的访问与治理层。优势:启动快、无需迁移、尊重数据主权边界。劣势:查询性能取决于源系统,治理质量完全取决于元数据层。当数据因监管或主权原因无法移动时,或者作为物理迁移进行期间的过渡层,这是正确的选择。
多数大型组织最终走向混合,而这是正确的。重要的纪律是:显式地决定哪种模式适用于哪个领域、为什么,而不是让每个团队各自选择——后者会产出一个没有任何人能作为整体来推理的数据资产。
迁移应该按什么顺序推进?
按价值和可逆性排序,而不是只按技术依赖排序。
第0期——先下线。在迁移任何东西之前先删掉没人用的。这是最便宜的一期,它缩小了后续一切的范围,并且在项目最需要信誉的那个时点产出可见进展。
第一期——一个领域,端到端。挑一个痛点明显、负责人配合的领域,把它走完整条技术栈:摄取、建模、治理、语义定义,以及一个消费它的AI或分析用例。目标是做出一个可用的参考样板,而不是完成一次迁移。关于"标准应当是什么"的一切认知,都来自这一期。
第二期——共享地基。现在构建每个领域都将需要的东西:语义层与指标定义、访问模型、血缘采集,以及防止平台变成一张空白支票的成本监控。在领域接入之后再建这些,意味着要建两遍。
第三期——按模板规模化。以第一期的领域为模板迁移其余领域,按业务价值排序。把摄取和转换模式标准化,让单领域成本随每次重复而下降;如果它不下降,就停下来修模板,而不是硬推。
第四期——带日期地下线。在第三期开始时而不是结束时,就设定遗留平台的关停日期。没有承诺的日期,双轨运行就会变成永久状态,商业论证永远无法闭合。
两条规则把顺序维系在一起。第一,绝不在没有明确消费者和负责人的情况下迁移一个数据集——无主的数据集是一次没有终点的迁移。第二,绝不让迁移百分比成为头条指标;改为汇报从提问到洞察的时长、自助采纳率,以及单次查询成本。
当智能体与检索进入图景时,什么会变?
智能体式和基于检索的系统,会对数据资产提出传统BI从未提出过的要求,而这些要求经常被很晚才发现。
机器可读的语义。人类分析师可以靠问同事来绕过一个含义模糊的列名;模型不能。描述、单位、枚举值和业务定义必须显式且结构化,否则系统会自信地推断出错误的含义。
有边界的查询面。一个能对任意schema生成任意SQL的智能体,迟早会产出一个缓慢、昂贵、或者错得看起来很对的查询。把智能体约束在经过治理的精选视图和预批准指标上,是运营层面的答案;这也意味着语义层不再只是便利设施,而是控制面。
用于归因的血缘。当一个AI答案是错的,第一个问题是"哪个输入错了"。没有血缘你就答不上来,而由此产生的信任流失,会比那次错误本身持续得更久。
非结构化数据纳入范围。检索系统需要文档——合同、政策、工单、报告——而这些通常躺在数据平台职责范围之外的内容系统里。把它们纳入治理,带版本、分级和过期机制,是传统数据资产从未做过的工作。
按查询的成本可观测性。智能体工作负载是突发式的,而且可能很贵。按查询、按用户的成本归因不是优化练习,它是防止第一个失控的工作负载吃掉平台预算、并触发一次紧急关停的东西。
如何为项目融资与衡量?
按可观察的结果分期拨款,而不是一次性给一笔多年预算。第一期买评估和首个领域;第二期在参考样板交付了承诺结果的证据之后释放。这种结构在预算收紧时保护项目,也保护组织免于为一个本该停止的项目继续投入。
衡量四件事。从提问到洞察的时长,针对一组定义好的、反复出现的问题——要在开始前就测,否则你永远证明不了它改善了。自助采纳率:分析消费中不经过中央团队的比例。单次查询或单位价值的成本,这个指标能捕捉"新平台更好但用不起"这种失效模式。以及下线进展,按带日期的计划而非百分比来跟踪。
再加一项治理指标,因为它预测收益能否保持:带有具名负责人、描述和分级的数据集占比。把数据落地得比治理更快的现代化,只会产出一个更大版本的原有问题。
最后,诚实地跟踪那个反向指标——数据集与管道的总数。如果它在整个项目期间单调增长,说明你是在整合平台而没有简化数据资产,而运营成本最终会迫使你再做一次同样的决定。
最常见的错误有哪些?
从平台选型开始。在还不知道哪些数据集重要之前就定了技术,然后发现所选平台恰好最不适合那个最终最重要的工作负载。
先迁移后下线。因为"删除感觉像是另一个决策",就把死重量一路搬过一次昂贵的迁移。
把语义层放在最后建。把指标定义当成平台的产出而非输入。定义才是让平台可用的东西;没有它们,你只是搬了一次存储。
把治理留到后面某期。在负责人、分级和访问模型存在之前就落地数据,然后发现事后给一个lakehouse补做分级,远比一开始定义好要难得多。
没有下线日期。无限期地双平台运行,而遗留资产因为新平台还答不了老问题而留住它的用户。
汇报迁移百分比。一个衡量投入而非结果的指标,而且它总能走到100%,同时项目什么可观察的东西都没交付。
数据架构现代化的核心要点有哪些?
AI就绪是五个属性——可被发现、含义被描述、查询时受治理、新鲜度足够、可追溯——而其中没有一个是技术选型。
- 用结果而非平台定义项目:一个会改善的数字、一个日期、一个具名的团队。
- 先下线再迁移;多数数据资产里30%到40%一年内无人查询过。
- 用查询日志而非访谈做评估,并把一个真实的AI用例端到端走一遍,以暴露真正的阻塞点。
- 按领域在lakehouse、mesh、fabric之间做选择并写明理由,不要让各团队自行选择。
- 顺序是:下线、参考领域、共享地基、模板化规模化、带日期的下线。
- 在领域接入之前就建好语义层,因为它是智能体访问的控制面。
- 按可观察结果分期拨款,并衡量从提问到洞察的时长、自助采纳率和单次查询成本。