分词与分析器：Analyzer、IK、BM25 与同义词

这一课你将能做到

1. 说清楚 analyzer 三段结构（character filter → tokenizer → token filter），并能用 Analyze API 观察分词结果
2. 安装 IK 分词器并为题库索引配置中文分词，区分 ik_smart 与 ik_max_word
3. 配置自定义 analyzer（停用词、小写、同义词），并说出 BM25 打分与分词质量的关系

为什么要学

分词直接决定搜索质量：切错一个词，要么搜不到（召回不足），要么搜出一堆不相关的（准确率低）。ES 内置的标准分词器对中文是「逐字切」——「事务失效」切成「事」「务」「失」「效」四个字，搜索时任何单字都能命中，噪声极大。中文搜索几乎必装 IK 分词器；英语资料则要理解小写化、词干提取、停用词这些处理。

人话：analyzer 就是「文本进入倒排索引前的清洗流水线」。写入时怎么切，搜索时就怎么查——两边必须用同一套规则才能对上。这一课动手做实验，你会亲眼看到同一个句子在不同分词器下变成完全不同的词项。

先建立图像

Analyzer 三段流水线：

原文："Spring Boot 的 @Transactional 失效了！！"
  │
  ├─ character filter（字符过滤）：去掉 HTML、替换字符
  │
  ├─ tokenizer（分词器）：切成词项流
  │    ["Spring","Boot","的","@Transactional","失效","了"]
  │
  └─ token filter（词项过滤）：小写化、去停用词、加同义词
       ["spring","boot","transactional","失效"]
  → 写入倒排索引

内置常用 analyzer：

名称	行为	适用
standard（默认）	Unicode 切词、小写化；中文按字切	英文、混合
simple	按非字母切、小写	简单英文
whitespace	仅按空格切，不处理大小写	特殊日志
ik_smart	中文粗粒度切分（少而准）	搜索时
ik_max_word	中文细粒度切分（多而全）	索引时

跟着做

步骤 1：用 Analyze API 观察分词

# 标准分词器处理中文：逐字切分
curl -u elastic:abcd1234 -X POST "http://localhost:9200/_analyze" -H "Content-Type: application/json" -d'
{
  "analyzer": "standard",
  "text": "Spring事务失效的场景"
}'

# 看英文的小写化
curl -u elastic:abcd1234 -X POST "http://localhost:9200/_analyze" -H "Content-Type: application/json" -d'
{
  "analyzer": "standard",
  "text": "Redis Distributed Locks"
}'

返回 tokens 数组，每个 token 含 token（词项）、position（位置）、offset（字符起止）。position 决定短语匹配，offset 决定高亮位置——这解释了为什么分词会影响短语搜索。

也可以直接指定字段，复用该字段的分词配置：

curl -u elastic:abcd1234 -X POST "http://localhost:9200/questions/_analyze" -H "Content-Type: application/json" -d'
{
  "field": "stem",
  "text": "事务失效"
}'

步骤 2：安装 IK 分词器

版本必须与 ES 完全一致（8.11.0）。进入容器安装插件：

docker exec -it es01 bin/elasticsearch-plugin install \
  https://release.infinilabs.com/analysis-ik/stable/elasticsearch-analysis-ik-8.11.0.zip

docker restart es01