[RFC] 123(WIP) - 自定义知识库 Embedding 模型

[Asuka109]

简述

本 RFC 提议为 LobeChat 的 Embedding 功能添加模型选择能力。目前 LobeChat 在进行文本向量化时仅能使用硬编码的 openai-text-embedding-3-small 模型，限制了用户的灵活性和应用场景。本提案旨在允许用户选择多种向量化模型，并在使用过程中根据需要切换不同模型。

实现细节

• 设置界面新增 “知识库” 栏目，允许用户切换向量化模型。
  • 仅允许使用 maxDimension>=1024 并支持指定 dimension 的向量化模型。
  • 切换模型时二次确认，告知用户将 删除所有已生成的向量。
  • 切换模型时允许用户发起异步任务使用新模型重建所有向量（可选）。
• 更新全局设置类型 UserSettings 定义，无需变更数据库 Schema。

交互界面

https://v0.dev/chat/ai-chatbox-settings-nR67t3ypwgN

Drawbacks

以下问题留待后续 RFC 讨论和实现。

• 不支持 添加自定义模型 时指定为 Embedding 模型。
• 不支持为每个数据库指定独立的配置。

[arvinxx]

1. 全局设置要有，还有知识库的设置也需要有。会有一个 fallback 逻辑，如果知识库里有，走知识库的，如果知识库里没有，默认走全局的；
2. 可能也要考虑下其他设置；
3. 切换 embedding 模型后不应该删掉旧的 embedding 模型，应该做一轮新的 create embedding 就好了；

[arvinxx]

另外由于不同模型的向量平均距离可能不同，这里不同模型间的结果恐怕不能直接比较来进行排序，我只能想到让用户手动为各个模型的向量距离结果设置一个补正的倍率，但这样可能使用负担会比较高。

这里应该这么做，基于开启的知识库的 embedding 模型来做对应召回，比如有默认文件是用的 openai-small 做的向量化，那么检索的时候也应该用这个openai-small。然后如果其中有一个开启的知识库是 openai-large，那么检索这个知识库的时候也用openai-large 来检索。然后这里可能就会召回多个chunk，比较好的是再做一轮重排。

[Asuka109]

@arvinxx 我比较担心的就是这里说的重排的实现，比如对于输入文本 感冒药 计算相似度，两个不同的模型给的结果分别是：

Model A 生成的向量

• 感冒灵：0.70
• 皮炎平：0.67

Model B 生成的向量

• 感冒灵：0.65
• 皮炎平：0.60

那么当文本分别位于两个使用不同模型的知识库里时：

• 使用 Model A 知识库计算 感冒药 与 皮炎平 的相似度为 0.67
• 使用 Model B 知识库计算 感冒药 与 感冒灵 的相似度为 0.60

召回结果就会出现 皮炎平 的相似度高于 感冒灵 的情况，所以不能直接跨模型比较相似度排序，而是需要一些额外的处理。

比如可以让用户为 Model B 设置 1.077x 的补正倍率，在这个例子中就可以让排序结果正确。但是具体的倍率需要大量测试才能得出，且更大的问题是未必通过一个简单的倍率补偿就能抹平模型间的差异。

[arvinxx]

重排一般不会用第一轮的相似度直接排序的。而是会用重排模型再做一次排序（一般比如用 voyage reranker ），第一轮的相似度不会用于第二轮的。

[Asuka109]

明白了，那我理解就是这样吧：假如预期要召回 100 条文本，先基于各个知识库的模型设置按 Embedding 向量相似度召回大于 100 条的文本，再用 ReRanker 模型排序这些数据并取前 100 条输出。

[arvinxx]

明白了，那我理解就是这样吧：假如预期要召回 100 条文本，先基于各个知识库的模型设置按 Embedding 向量相似度召回大于 100 条的文本，再用 ReRanker 模型排序这些数据并取前 100 条输出。

对的，Reranker 模型干的就是多源的 list 做重排序的