資料內容：
一、LLMs 已經具備了較強能力了，存在哪些不足點?
在 LLM 已經具備了較強能力的基礎上，仍然存在以下問題：
• 幻覺問題：LLM 文本生成的底層原理是基于概率的 token by token 的形式，因此會不可避免地
產生“一本正經的胡說八道”的情況；
• 時效性問題：LLM 的規(guī)模越大，大模型訓練的成本越高，周期也就越長。那么具有時效性的數
據也就無法參與訓練，所以也就無法直接回答時效性相關的問題，例如“幫我推薦幾部熱映的電
影？”；
• 數據安全問題：通用的 LLM 沒有企業(yè)內部數據和用戶數據，那么企業(yè)想要在保證安全的前提下
使用 LLM，最好的方式就是把數據全部放在本地，企業(yè)數據的業(yè)務計算全部在本地完成。而在
線的大模型僅僅完成一個歸納的功能
二、什么是 RAG?
RAG（Retrieval Augmented Generation, 檢索增強生成），即 LLM 在回答問題或生成文本時，先
會從大量文檔中檢索出相關的信息，然后基于這些信息生成回答或文本，從而提高預測質量。
2.1 R：檢索器模塊
在 RAG技術中，“R”代表檢索，其作用是從大量知識庫中檢索出最相關的前 k 個文檔。然而，構建
一個高質量的檢索器是一項挑戰(zhàn)。研究探討了三個關鍵問題：
2.1.1 如何獲得準確的語義表示？
在 RAG 中，語義空間指的是查詢和文檔被映射的多維空間。以下是兩種構建準確語義空間的方
法。
1. 塊優(yōu)化
處理外部文檔的第一步是分塊，以獲得更細致的特征。接著，這些文檔塊被嵌入。
選擇分塊策略時，需要考慮被索引內容的特點、使用的嵌入模型及其最適塊大小、用戶查詢的預期
長度和復雜度、以及檢索結果在特定應用中的使用方式。實際上，準確的查詢結果是通過靈活應用
多種分塊策略來實現(xiàn)的，并沒有最佳策略，只有最適合的策略。
1. 微調嵌入模型
在確定了 Chunk 的適當大小之后，我們需要通過一個嵌入模型將 Chunk 和查詢嵌入到語義空間
中。如今，一些出色的嵌入模型已經問世，例如 UAE、Voyage、BGE等，它們在大規(guī)模語料庫上
預訓練過
