离线索引 · 在线问答
Offline / OnlinePipeline 全流程
The Pipeline从原始文档到最终回答,离线索引与在线检索生成两条链路的每个环节。
一条 RAG 链路分两段:离线索引把文档逐层加工成可检索的向量库, 在线问答把用户问题变成向量、召回、精排、交给 LLM 生成。 点开下面每个抽屉,就是逐个拆解这条流水线的每个工位。
Offline 索引链路
- 1. 加载 Load —— 各格式统一成 Document
- 2. 切分 Chunk —— 决定检索粒度
- 3. 嵌入 Embed —— 文本 → 语义向量
- 4. 入库 Index —— 写入向量库 + metadata
Online 问答链路
- 5. 检索 Retrieve —— 向量 + BM25 混合召回
- 6. 重排 Rerank —— Cross-Encoder 精排
- 7. 生成 Generate —— 受约束的回答 + 引用
- 8. 评估 Eval —— 检索 / 生成分开度量
评估与进阶
Evaluation & Advanced怎么量化 RAG 的好坏,以及 Graph RAG、Agentic RAG 等进阶架构。
交互式图示为教学简化。真实系统按业务取舍:切分参数、混合检索权重、重排阈值都应在你自己的评测集上调优。