向量与语义搜索：Embedding、kNN 与混合检索

这一课你将能做到

1. 说清楚「词项匹配」与「语义匹配」的差别，以及 embedding 向量为什么能表达语义
2. 建一个含 dense_vector 字段的题库索引，写入向量并用 8.x 的 kNN 查询做语义搜题
3. 写出向量 + 关键词的混合检索（hybrid），知道 RRF 融合排序解决什么问题

为什么要学

关键词搜索有一道天花板：用户的词必须和原文「对得上词项」。学员搜「方法自己调自己事务还管用吗」，关键词分词后和题干「Spring 事务自调用失效」对不上——意思完全一样，词没有一个重合。语义搜索不看字面，把文本变成高维空间里的一个点（向量），意思相近的文本在空间里距离就近，于是「怎么问都能搜到」。8.x 已经把向量搜索做成原生功能，不需要外挂 Faiss/Milvus。

人话：embedding 模型像一个「语义坐标定位器」，送进一句话，吐出一串浮点数（如 512 维），你可以理解为这句话在 512 维语义地图上的坐标。两句话意思接近，坐标就接近。kNN（k Nearest Neighbors，k 近邻）就是「在地图上找离我最近的 k 个点」。本站增强搜索的路线是：关键词检索保底（精准、可解释），向量检索补召回（同义、换说法），两者融合。

先建立图像

两种检索对比：

BM25 关键词：
  「自调用 事务」 → 查倒排词项 → 字面重合才命中
  问「方法自己调自己」→ 0 命中

kNN 语义：
  问题 → embedding 模型 → [0.12, -0.88, ... 共512维]
  题库每道题 → 同模型 → 各自坐标
  余弦相似度最高的 k 道题 → 即使无一字重合也命中

向量索引不是暴力算距离：ES 底层用 HNSW（分层可导航小世界图）近似最近邻结构，把候选组织成图，搜索沿图快速逼近最近点，用可控的少量精度损失换百倍速度。

跟着做

步骤 1：生成 embedding

向量必须由同一个模型生成问题向量和文档向量，维度才一致。两种方式。

方式 A：外部模型（学习最常用）。用 Python + sentence-transformers 跑中文小模型：

# pip install sentence-transformers
from sentence_transformers import SentenceTransformers
import json

model = SentenceTransformers("BAAI/bge-small-zh-v1.5")  # 输出 512 维

def embed(text):
    return model.encode(text, normalize_embeddings=True).tolist()

print(json.dumps(embed("Spring 事务自调用为什么失效")))

把输出的浮点数组用于下面的写入与查询。批量导题时对题干（或题干+解析拼接）逐题生成向量，随 Bulk 一起写入。

方式 B：用 ES 8.11 的 inference API，先在集群部署文本嵌入模型，再调用：

curl -u elastic:abcd1234 -X POST "http://localhost:9200/_ml/inference/my-bge/_infer" \
  -H "Content-Type: application/json" \
  -d'{"docs":[{"text_field":"Spring 事务自调用为什么失效"}]}'

生产环境也可调用自研/云端 embedding 服务，应用层负责把向量写进 ES。

步骤 2：建含向量字段的索引

curl -u elastic:abcd1234 -X PUT "http://localhost:9200/questions_vec" -H "Content-Type: application/json" -d'
{
  "mappings": {
    "properties": {
      "stem": {
        "type": "text",
        "analyzer": "ik_max_word",
        "search_analyzer": "ik_smart"
      },
      "lessonTitle": { "type": "text", "analyzer": "ik_max_word" },
      "tags": { "type": "keyword" },
      "courseId": { "type": "keyword" },
      "difficulty": { "type": "byte" },
      "published": { "type": "boolean" },
      "embedding": {
        "type": "dense_vector",
        "dims": 512,
        "index": true,
        "similarity": "cosine"
      }
    }
  }
}'