bm25 analyzer tokenizer

[zhu3359]

in bm25 search, is there a tokenizer dict for chinese? can user update the dict?

[yhmo]

This doc is about the tokenizer jieba for Chinese: https://milvus.io/docs/jieba-tokenizer.md

[zhu3359]

This doc is about the tokenizer jieba for Chinese: https://milvus.io/docs/jieba-tokenizer.md
@yhmo
thx for the answer, from the doc i know that there is params to specify dict, but is it possible for the users to update the dict, there may be some special industry terms not in the dict.

[yhmo]

在milvus v2.5.11里，增加了一些设置，包括dict的配置。

analyzer_params = {
    "tokenizer": {
        "type": "jieba",
        "dict": ["_default_", "蓝色天空", "向量数据库"],
        "mode": "exact",
        "hmm": False
    }
}

• dict
  可以和"default", 一起配置，在jieba默认词典基础上进行补充。

• mode
  "exact" --- 精准匹配模式会将文本精确的切开，每个位置只会出现在一个单词中。
  "search" --- 搜索引擎模式会尽可能的匹配结果，每个位置可能会出现在多个单词中。

• Hmm
  是否启用jieba自带的隐马尔可夫模型匹配，hmm通过统计模型，通过概率计算来识别不存在于字典中的单词。
  关闭hmm后，无法匹配字典的中文字符会变成单个字的token。
  默认 开启hmm。

示例：
1.

analyzer_params = {
    "tokenizer": {
        "type": "jieba",
        "dict": ["结巴分词器"],
        "mode": "exact",
        "hmm": False
    }
}

"milvus结巴分词器中文测试" ------ ['milvus', '结巴分词器', '中', '文', '测', '试']

analyzer_params = {
    "tokenizer": {
        "type": "jieba",
        "dict": ["结巴分词器"],
        "mode": "exact",
        "hmm": True
    }
}

"milvus结巴分词器中文测试" ------ ['milvus', '结巴分词器', '中文', '测试']

analyzer_params = {
    "tokenizer": {
        "type": "jieba",
        "dict": ["_default_", "结巴分词器"],
        "mode": "search",
        "hmm": False
    }
}

"milvus结巴分词器中文测试" ------ ['milvus', '结巴', '分词', '分词器', '结巴分词器', '中文', '测试']

[zhu3359]

在milvus v2.5.11里，增加了一些设置，包括dict的配置。

analyzer_params = {
    "tokenizer": {
        "type": "jieba",
        "dict": ["_default_", "蓝色天空", "向量数据库"],
        "mode": "exact",
        "hmm": False
    }
}

• dict
  可以和"default", 一起配置，在jieba默认词典基础上进行补充。
• mode
  "exact" --- 精准匹配模式会将文本精确的切开，每个位置只会出现在一个单词中。
  "search" --- 搜索引擎模式会尽可能的匹配结果，每个位置可能会出现在多个单词中。
• Hmm
  是否启用jieba自带的隐马尔可夫模型匹配，hmm通过统计模型，通过概率计算来识别不存在于字典中的单词。
  关闭hmm后，无法匹配字典的中文字符会变成单个字的token。
  默认 开启hmm。

示例： 1.

analyzer_params = {
    "tokenizer": {
        "type": "jieba",
        "dict": ["结巴分词器"],
        "mode": "exact",
        "hmm": False
    }
}

"milvus结巴分词器中文测试" ------ ['milvus', '结巴分词器', '中', '文', '测', '试']

analyzer_params = {
    "tokenizer": {
        "type": "jieba",
        "dict": ["结巴分词器"],
        "mode": "exact",
        "hmm": True
    }
}

"milvus结巴分词器中文测试" ------ ['milvus', '结巴分词器', '中文', '测试']

analyzer_params = {
    "tokenizer": {
        "type": "jieba",
        "dict": ["_default_", "结巴分词器"],
        "mode": "search",
        "hmm": False
    }
}

"milvus结巴分词器中文测试" ------ ['milvus', '结巴', '分词', '分词器', '结巴分词器', '中文', '测试']

@yhmo 所以是不支持更新dict.txt和dict.txt.big这两个文件的是吗

[xiaofan-luan]

@aoiasd 正在做，目前还没上

[zhu3359]

@aoiasd 正在做，目前还没上

thx for the answer