企業(yè)知識(shí)庫(kù)的失敗,九成不在模型,而在資料。模型只是最后一道工序,前面越亂,后面越玄。真正決定成敗的是資料清洗、知識(shí)結(jié)構(gòu)化、問(wèn)答調(diào)優(yōu)這三個(gè)階段,缺任何一環(huán),最后都會(huì)退化成一個(gè)“會(huì)說(shuō)漂亮話但不靠譜”的聊天框。
第一步:資料清洗——把“能搜到”變成“能讀懂”
企業(yè)資料通常有三類通病:格式混亂(掃描件 PDF、微信截圖、十年前的老 PPT 混在一起)、版本沖突(同一份制度三個(gè)版本,沒人知道哪個(gè)有效)、邊界不清(哪些內(nèi)容能對(duì)外說(shuō),從來(lái)沒人界定)。我的做法是不做全量治理,先圈場(chǎng)景:挑 3~5 個(gè)高頻高價(jià)值的問(wèn)答場(chǎng)景,比如售后故障排查、報(bào)價(jià)與交期、新員工入職,只清洗這些場(chǎng)景真正會(huì)用到的資料。
判斷標(biāo)準(zhǔn)只有三條:一主題一文件、標(biāo)題直接寫成問(wèn)題、單段不超過(guò) 300 字。我們給一家制造業(yè)客戶做試點(diǎn),2.8 萬(wàn)份資料清洗后只保留 4200 份進(jìn)入知識(shí)庫(kù),問(wèn)答準(zhǔn)確率從 51% 提升到 78%。清洗不是刪資料,是把噪聲換成信號(hào)。
第二步:知識(shí)結(jié)構(gòu)化——讓機(jī)器知道“在什么條件下適用”
模型不缺知識(shí)點(diǎn),缺的是上下文。切片要按語(yǔ)義段落切,不能按字?jǐn)?shù)硬切;每一片必須攜帶元數(shù)據(jù):來(lái)源文檔、版本、生效日期、適用部門或產(chǎn)品線。否則它會(huì)把 2021 年的舊政策當(dāng)成現(xiàn)行制度念給你聽。
三個(gè)實(shí)操要點(diǎn):
- 問(wèn)答對(duì)沉淀:從客服工單、銷售聊天記錄里提煉用戶的真實(shí)問(wèn)法,一問(wèn)一配標(biāo)準(zhǔn)答案,比讓模型自己“悟”可靠得多。
- 表格單獨(dú)走結(jié)構(gòu)化查詢:報(bào)價(jià)、參數(shù)、庫(kù)存這類數(shù)據(jù)不要塞進(jìn)向量庫(kù),交給數(shù)據(jù)庫(kù)或接口精確查詢,模型只負(fù)責(zé)組織語(yǔ)言。
- 元數(shù)據(jù)先行:能給出引用出處的答案,員工才敢用,采納率往往是沒有引用的兩倍以上。
第三步:?jiǎn)柎鹫{(diào)優(yōu)——從“能答”到“敢用”
上線不是終點(diǎn),調(diào)優(yōu)主要三件事:檢索側(cè)用向量加關(guān)鍵詞混合召回再重排,純向量檢索在型號(hào)、編號(hào)、專有名詞上經(jīng)常失手;提示詞側(cè)明確約束“僅依據(jù)檢索到的資料作答,無(wú)依據(jù)時(shí)直接說(shuō)不知道并轉(zhuǎn)人工”;運(yùn)營(yíng)側(cè)建立反饋閉環(huán),點(diǎn)贊點(diǎn)踩和未解決問(wèn)題每周歸集復(fù)盤。
這里有個(gè)數(shù)字值得記住:某客戶上線首月沉淀 240 條 badcase,復(fù)盤后 62% 是資料缺失,28% 是切片錯(cuò)誤,只有 10% 是模型本身的問(wèn)題。體系里最危險(xiǎn)的不是答錯(cuò),而是理直氣壯地編造,所以我盯的第一個(gè)指標(biāo)是“無(wú)依據(jù)回答率”,控制在 5% 以內(nèi),比準(zhǔn)確率更說(shuō)明問(wèn)題。