Skip to content

Latest commit

 

History

History
23 lines (12 loc) · 1.18 KB

FineTuning_vs_RAG.md

File metadata and controls

23 lines (12 loc) · 1.18 KB

微調 vs RAG

檢索增強生成

RAG 是資料檢索 + 文字產生。企業的結構化資料和非結構化資料儲存在向量資料庫中。當搜尋相關內容時,會找到相關摘要和內容以形成上下文,並結合 LLM/SLM 的文字完成能力來產生內容。

RAG Process

FinetuningvsRAG

微調

微調是基於某個模型的改進。它不需要從模型算法開始,但需要不斷積累數據。如果你想在行業應用中獲得更精確的術語和語言表達,微調是你的更好選擇。但如果你的數據經常變化,微調可能會變得複雜。

如何選擇

如果我們的答案需要引入外部資料,RAG 是最佳選擇

如果你需要輸出穩定且精確的行業知識,微調將是一個不錯的選擇。RAG 優先拉取相關內容,但可能無法始終掌握專業細微差別。

微調需要高品質的數據集,如果只是小範圍的數據,效果不會有太大差別。RAG 更靈活 微調是一個黑盒子,一種玄學,很難理解內部機制。但 RAG 可以更容易找到數據來源,從而有效調整幻覺或內容錯誤,並提供更好的透明度。