bm25 的jieba检索问题

[gangren-user]

milvus2.5的版本，bm25检索

1. 能否支持自定义分词文件，目前文档中虽然支持自定义分词，但是分词是通过数组的方式传递的，这种方式有一个局限性是传太多会报错，会超出传输的最大限制
2. 能否支持同义词相关搜索
3. 分词器能否支持类似hanlp工具这样的分词效果，可以根据上下文按照关系树进行分词拆分，得到这样一个树链路，通过检索这样一棵树，来实现在特定RAG场景检索

[xiaofan-luan]

1. 我们计划支持jieba自定义词典的能力，也计划支持自定义分词，用户可以直接传text+分词结果
2. 同义词相关搜索，同义词库怎么获取呢？是用户定义一个同义词文件么？
3. 暂时没有计划支持更加复杂的分词表示。不过很好奇这个树链路怎么用在rag里面呢？

[gangren-user]

举例
晓美焰来到北京立方庭参观自然语义科技公司。

徐先生还具体帮助他确定了把画雄鹰、松鼠和麻雀作为主攻目标。

剑桥分析公司多位高管对卧底记者说，他们确保了唐纳德·特朗普在总统大选中获胜。

类似如上示例文本对应的树结构
假设我搜索的是
示例1：”晓美焰来背景创办自然语义科技公司“
示例2：”雄鹰的主攻目标是松鼠、麻雀“
示例3：”记者说特朗普在总统大选中获胜“

如上示例，单纯的bm25匹配度会很高，embedding可能会很低，但是如果这样的数据量很大的情况下，embedding就不能保证了
我这里所说的搜索树，就是想类似这样的问题和答案，通过这样已知的树结构，搜索这棵树利用一些方式时把相似度降低一些，不单纯是标签的含义

我的表述可能不够准确，大概意思就是说，想利用搜索这样的树结构，解决一些实际性问题
或者换一种说法，就是想让bm25稀疏检索时，变的更加智能一些

当然，您上面所说的也很有道理，我可以在您给到的建议中，做一些尝试

[xiaofan-luan]

听起来，感觉像是一个graph rag的故事。
一个简单思路是你可以把这些树形状关系拼成一句话转成向量，看看效果如何

[gangren-user]

你说的很对，确实很像graph图谱
我也考虑过转成一句话，但是目前还不知道怎么转，没有好的思路
或者说针对这个问题作为一个研究方向，咱这边看能不能基于这样一个上下文的结构关系树设计一些新的场景解决方案，以供开发人员使用

[xiaofan-luan]

可以参考一下我们的这篇文章

https://zilliz.com.cn/blog/Knowledge-Graph-is-integrated-into-the-vector-database-bringing-RAG-effects-to-soar

[gangren-user]

根据目前的了解，这应该是Graph，这种场景不太适合频繁更新，检索是基于整个数据集图谱
可能跟我理解的不太一样，我想的是把整个graph进行拆分，将graph简化成小单元的，最后在进行匹配
这里我在思考一下如何试用我的场景，非常感谢您的支持