信息检索基础理论
1.1 信息检索的本质

• 定义：从非结构化文档集合中定位满足用户需求的文档过程
• 核心矛盾：数据爆炸增长（千亿网页、10万亿GB总量）与人类处理能力的不对称
• 数据分类：
  • 结构化数据（数据库表结构，支持SQL查询）
  • 非结构化数据（文本/语音，需全文检索技术）
  • 半结构化数据（XML/HTML，元数据可解析）
• 技术演进：
  扩展：从顺序扫描法（grep命令）到倒排索引的全文检索技术

1.2 相关度计算模型

• 核心问题：量化文档与查询的语义关联性
• 经典方法：
  • 词项匹配（布尔模型）
  • TF-IDF（词频-逆文档频率加权）
  • 向量空间模型（余弦相似度）
  • PageRank（链接分析算法）
• 现代方法：
  • 机器学习排序（L2R）
  • 深度学习模型（BERT等预训练模型）
• 关键区分：
  扩展：相关度（主观判断）与相似度（客观距离）的差异

搜索引擎技术架构
2.1 核心组件

• 爬虫系统：自动抓取互联网链接并存储原始页面
• 索引构建：
  • 倒排索引（Term→文档列表映射）
  • 哈希学习（图像/视频特征编码）
• 查询处理：
  • 分词与拼写纠错（中文分词、英文停用词过滤）
  • 查询意图分析（信息需求→任务目标映射）
• 排序算法：
  • 多因素权重（内容相关性、页面权威性、用户行为）
  • 实时反馈机制（点击率调整）

2.2 隐私与伦理挑战

• 数据收集争议：用户搜索行为记录引发隐私泄露风险
• 解决方案：
  • DuckDuckGo的无痕搜索（不记录IP/搜索词）
  • 知识图谱API的第三方数据整合

信息检索应用场景
3.1 垂直搜索引擎

• 技术特点：限定领域主题+定制化爬虫+领域知识库
• 典型案例：
  • 雅虎财经（股票信息）
  • 微软学术（论文检索）
  • 高德地图（POI查询）

3.2 多模态检索

• 关键技术：
  • 图像特征提取（颜色直方图、边界角度）
  • 跨模态映射（CLIP模型将文本/图像嵌入统一向量空间）
• 典型任务：
  • 以图搜图（布料/时装检索）
  • 以文搜图（自然语言描述生成图像）

检索增强生成（RAG）
4.1 技术原理

• 核心架构：
  • 数据准备：文档分块→向量化→向量数据库存储
  • 检索阶段：查询向量化→相似度计算→Top-K文档召回
  • 生成阶段：上下文增强Prompt→LLM生成答案
• 优势分析：
  • 解决长尾知识不足（实时检索补充）
  • 增强事实准确性（来源可追溯）
  • 降低隐私风险（私有数据外部存储）

4.2 应用场景

• 企业知识库：内部文档检索问答
• 医疗领域：结合医学文献的诊断建议生成
• 法律服务：判例检索与类案推送

相关度 vs 相似度

• 相关度：用户主观判断的语义关联性（如"苹果"既指水果也指公司）
• 相似度：数学空间中的距离计算（如余弦相似度衡量向量夹角）

结构化数据 vs 非结构化数据

• 结构化数据：固定字段（如Excel表格）
• 非结构化数据：自由文本（如Word文档）

CLIP模型 vs 传统图像检索

• CLIP：跨模态预训练（文本描述→图像生成）
• 传统方法：单一模态特征匹配（颜色/形状）

必须记忆：

• 倒排索引构建步骤（文档分词→词项统计→建立倒排表）
• TF-IDF公式（TF=词频/N，IDF=log(总文档数/含词文档数)）
• RAG的三个核心阶段（数据准备、检索、生成）

重点理解：

• 相关度计算的演化路径（从布尔模型到深度学习）
• CLIP模型的对比学习机制（正负样本对训练）
• 检索增强生成如何解决大模型幻觉问题（事实来源验证）