RAG 與微調如何選：企業落地決策指南

大多數企業面對的其實不是「RAG 還是微調」的選擇題——他們面對的是 RAG 能解決的資料新鮮度與合規問題、微調能解決的行為塑形問題，以及一筆經不起兩頭都做砸的預算。

為什麼這個決策決定專案存亡，而不只是效果好壞

工程團隊習慣把 RAG 與微調之爭框成模型質量之爭：哪種方式答得更好。在企業場景裡，這個框架本身是錯的，因為兩者最佳化的物件不同——RAG 最佳化的是模型在查詢時刻「知道什麼」，微調最佳化的是模型「怎麼表現」。用「誰答得更好」來二選一，就像用「誰能讓報告更好」在圖書館和寫作教練之間做選擇。一旦說清楚您真正的問題是什麼，這道選擇題就自動消解了。

利害關係同樣是財務層面的。Gartner（2024）預測約 30% 的生成式 AI 專案會在概念驗證後被放棄，而覆盤給出的死因高度一致且可避免：成本結構隨規模失控、治理缺口卡死合規籤核、價值始終無法度量——這三件事都是第一週的架構決策。被廣泛引用的 MIT 研究（2025）把沒有可衡量損益影響的生成式 AI 試點比例推到接近 95%，而架構，恰恰是管理層在寫下第一行程式碼之前就能直接掌控的少數變數之一。

本文給出六個維度的決策框架——資料新鮮度、治理、成本、時延、可解釋性與技能要求——然後是八維對比表、散文式的決策路徑，以及值得其複雜度的混合模式。目標是讓 CIO、CTO 或資料負責人能帶著證據、而不是帶著詞彙量，去預算會上為這個選擇辯護。

RAG 到底做什麼——以及它真正貴在哪

檢索增強生成（RAG）把模型的回答錨定在查詢時刻檢索到的文件上。模型從不「學」您的企業知識，它只是「讀」。一次查詢經過檢索層——向量檢索、關鍵詞檢索，或越來越常見的兩者混合——從語料庫中拉出最相關的片段，模型在這些片段的約束下組織答案。知識隨語料庫更新而更新，無需任何再訓練。

這個特性決定了 RAG 的企業級優勢。新鮮度是原生的：上午更新的價目表，下午就能被回答。許可權可以在檢索時刻執行，系統只會呈現提問者有權看到的內容。每個答案都能給出引用來源，把「模型是這麼說的」變成可審計的產物。底層模型可以更換、升級、重新議價而不必推翻工作——知識在您的基礎設施裡，不在模型權重裡。

成本同樣真實，而且經常被低估：

• 檢索質量工程。 切分策略、嵌入模型選型、重排、後設資料治理、表格與掃描件處理。這是工程量的大頭，而且是持續迭代的——語料庫一變，檢索管道就會退化，需要不斷調優。
• 服務基礎設施。 向量資料庫、搜尋索引，以及讓檢索對使用者不可感知的時延預算。
• 每次查詢的推理開銷。 每次查詢都要為處理檢索到的上下文付費；上下文視窗越大成本越高，這讓檢索相關性直接成為成本槓桿。
• 帶許可權的設計。 在檢索內部執行行級、文件級訪問控制是真正的難題，跳過它的企業正是 IBM（2025）發現的那 97% 缺乏 AI 訪問控制的一員。

當問題是「使用者此刻需要知道什麼，而且這些資料在變、還有訪問規則」時，RAG 是答案。這正是大多數運營分析與知識工作的畫像——所以面向企業資料的對話式 BI，幾乎總是一個 RAG 問題。

微調到底做什麼——以及它真正貴在哪

微呼叫精選樣本調整模型權重，改變的是模型的表現方式：輸出格式、語氣風格、分類邊界、對領域慣例的遵循。微調之後，行為被「烤」進權重——推理時無需檢索步驟、沒有引用軌跡、知識停留在訓練截止點。

微調在某一類問題上真正划算：範圍窄、重複度高、量大、目標行為穩定、樣本充足的任務。把客戶意圖分類到固定體系、從格式不變的文件中抽取欄位、按嚴格的公司模板產出內容。在這類場景中，微調過的中小模型在準確率與成本上常常雙雙勝過旗艦模型——因為行為是被學會的，而不是被提示詞逼出來的。

微調的成本結構與 RAG 正好倒置。推理很便宜——不用拖上下文、沒有檢索開銷、模型往往更小。但投入移到了上游：

• 資料準備。 策劃成千上萬條高質量樣本是成本大頭，而且質量天花板毫不留情：用平庸資料微調，得到的是自信的平庸。
• 訓練與迭代週期。 每一次行為修改都意味著新一輪訓練、評估與部署——以天到周計，而非以分鐘計。
• 知識維護債務。 底層知識一變——企業裡它總會變——模型就得重訓。這是教科書級的失敗模式：微調過的模型自信地引用去年的產品目錄作答。
• MLOps 能力。 版本管理、評估框架、模型行為的迴歸測試——大多數企業仍在補這門課。

當問題是「模型應該怎麼表現，且這種表現穩定且高頻重複」時，微調是答案。它是行為塑形工具；把它當知識交付工具用，是企業 AI 中最常見的架構錯誤，沒有之一。

真正起決定作用的八個維度

下表從企業最常爭執的八個維度比較 RAG、微調與混合模式。混合模式指在檢索接地的知識之上疊加微調的行為——例如用微調負責輸出格式與領域風格，RAG 負責事實。

讀這張表有兩種對預算會話有用的方式。豎著讀：如果您的需求在新鮮度、治理、可解釋性上權重很高——金融服務、零售分析以及任何受監管流程都是如此——RAG 在談成本之前就已經贏了。橫著讀：持續成本兩行說明了為什麼「微調推理更便宜」的直覺在企業規模下會反轉——知識每月都在變，每次變化都會重新觸發訓練支出。

決策路徑：按順序問六個問題

先問資料新鮮度：使用者需要的知識到底多久變一次？如果誠實的答案是每天、每週、甚至每月，那麼把微呼叫作知識通道就直接出局——不是做不到，而是重訓跑步機會讓單位經濟無法辯護。IDC（2024）的支出預測顯示，預算正在流向新鮮度所要求的檢索與平臺層。如果知識真的穩定——固定分類體系、靜態文件模板——微調才重新入局。

第二步，治理與許可權：系統是否必須尊重按使用者的訪問許可權、答案是否必須可審計？在金融服務，以及越來越多任何觸碰客戶資料的企業裡，答案是「是」。RAG 在檢索時執行許可權併為每個答案給出來源；微調做不到按使用者區隔答案，因為它知道的東西存在共享權重裡。IBM（2025）報告指出，遭遇 AI 相關洩露的組織中 97% 缺乏 AI 訪問控制——這個發現足以終結任何「把許可權敏感資料喂進權重」的計劃。

第三步，成本結構：比較總曲線，而不是單行專案。RAG 把支出集中在前期檢索工程與每次查詢的推理；微調集中在資料策劃與週期性重訓。對量大、範圍窄、行為穩定的任務，微調的總曲線更低——如果用小模型替換旗艦模型，往往低得多。對廣泛、多變、帶許可權的知識，RAG 的曲線獲勝，因為知識更新免費傳播。

第四步，時延：如果場景要求亞秒級響應的高併發——高頻分類、路由、內容稽核——微調小模型有真實優勢。如果場景能容忍一到三秒——絕大多數分析與知識工作流都是如此——檢索時延是一個可控的工程問題，不是一票否決項。

第五步，可解釋性：當答案要餵給會被審計的決策——信貸、合規、定價、庫存——來源引用不是加分項，而是准入條件。僅憑這一個維度，就能終結大多數企業的架構爭論。

第六步，技能：RAG 要求資料工程與搜尋相關性的手藝；微調要求機器學習工程與評估運維的紀律。選擇您現有團隊養得起的架構，因為沒有運維技能的架構，就是對顧問的無限期依賴，按天計價。

一句話壓縮整條路徑：知識多變+許可權+可審計，指向 RAG；行為穩定+高併發+低時延，指向微調；兩組要求都有，指向混合。

混合模式何時配得上它的複雜度

「檢索接地之上疊加微調行為」的混合模式，不是外交式的各退一步，它能解決兩種純方案都碰不到的問題。三個模式配得上額外的複雜度：

• 格式微調、檢索接地。 最常見的企業級混合：微調讓模型穩定遵循您的輸出規範——分析報告的確切結構、抽取結果的欄位模板——而所有事實來自檢索。微調不攜帶知識，所以沒有重訓跑步機；它只攜帶風格與結構，而這些東西很少變。
• 小模型路由加 RAG 兜底。 微調過的小模型以極低成本處理高併發、格式規整的大多數查詢；任何模糊、新穎或許可權敏感的問題，升級到檢索接地的旗艦管線。這一模式在生產系統中把混合推理成本砍半是常態。
• 領域適配的檢索。 在您的領域語料上微調嵌入與重排模型——醫學術語、產品 SKU、法律措辭——以提升檢索精度，生成模型不動。這是用微調最強的工具去補 RAG 最弱的一環（檢索質量），同時不背上它的知識維護債。

必須亮出的警示：混合模式是兩個專案，不是一個。失敗模式是企業把兩條工作流各做一半，兩頭的好處一個沒拿到。如果需求分析沒有清晰地同時要求行為塑形與知識接地，先上純 RAG——它部署更快、治理敘事更乾淨——等生產資料證明存在缺口，再加微調。

常見失敗模式與規避方法

三個失敗模式出現得足夠頻繁，值得逐一點名。

「知識進權重」陷阱。 團隊因為「RAG 好像要搭更多基礎設施」而直接用企業知識庫微調模型，交付的系統在目錄、政策或價目表每次更新時都自信地答錯。解法是立規矩：權重承載行為，檢索承載知識。Gartner（2024）預測約 30% 的生成式 AI 專案會在概念驗證後被放棄，其中相當一部分就是這個陷阱換了不同 logo。

檢索質量平臺期。 RAG 系統帶著快速原型管道上線，演示很好，一到生產就漏：表格切不開、文件沒後設資料、許可權在管道末端才生效。系統被貼上「幻覺」標籤，而真正的病灶在檢索。解法是把檢索工程預算列為工程主科目而非附加項，並把檢索精度與生成質量分開埋點，讓故障在正確的層被診斷。

合規擱淺。 架構出於能力理由被選定；三個月後法務與審計發現：沒有按使用者許可權執行、沒有答案溯源、沒有評估留痕。專案卡在整改期，競對在交付。解法是把治理變成第一週的選型標準——查詢時許可權、來源引用、評估留痕——而不是第三個月才發現的檢查清單。

三個案例的共同元教訓：RAG 與微調之爭，與其說是模型能力之爭，不如說是哪種持續運營負擔您的組織扛得住——是 RAG 的持續檢索工程，還是微調的持續資料策劃與重訓。選擇與團隊匹配的那種負擔，架構決策基本自己就做出了。

對您下一次部署意味著什麼

對大多數帶著運營分析或知識獲取場景讀到這裡的企業——儀表盤、報表、政策查詢、面向實時業務資料的對話式 BI——這個決策框架堅定地落在 RAG 一側，並把「帶許可權的檢索」與「來源引用」列為不可談判的選型標準。當交付介面是 IM 原生——在企業微信、釘釘、飛書、WhatsApp 或 Teams 內部——這一點更加成立：這些渠道服務的是運營一線，他們每小時都在許可權約束下向變化中的資料提問。這就是教科書級的 RAG 畫像。

把微調與混合留給框架真正篩出來的場景：穩定的行為、高併發、亞秒時延，或嚴格到提示詞都守不住的輸出格式。在評估平臺而非自建時，請向供應商提出這個框架真正篩選出來的問題：許可權如何在查詢時刻執行？每個答案能否給出引用來源？上下文變大時每次查詢的成本如何變化？對這三個問題中的任何一個回答「模型自己會處理」，都是上述失敗模式的預告片。

麥肯錫（2025）的資料——僅約 25% 的 AI 採用組織報告企業級 EBIT 影響——用架構的語言說，就是「選無聊但正確」勝過「選驚豔但錯誤」。最好的架構，是試點結束那天，您的組織仍養得起其持續成本、治理姿態與技能要求的那個架構——因為價值恰恰從那一天才開始，或者結束。