RAG(RAGFlow): 混合检索源码解析-混合检索核心实现分析-search()完善

Author: wbccb

docs/知识库/RAG/RAGFlow源码分析/检索阶段/混合检索策略.md

@@ -198,12 +198,12 @@ def search()
 ```
 
 
-#### self.qryr.question
+#### self.qryr.question扩展问题
 
 传入查询的问题文本，进行一系列的处理：
 - 输入预处理：`移除标点、换行符等噪声，全角转半角` + `去除中英文常见虚词和语气词`
-- 存在非中文词语时处理：
-- 只存在中文词语时处理：
+- 存在非中文词语时处理
+- 只存在中文词语时处理
 
 ##### 输入预处理
 
@@ -424,23 +424,6 @@ result = [
 ```
 
 
-------
-
-**意图解析：**
-
-
-
-
-
-
-
-------
-
-**语义扩展：**
-
-------
-
-
 ##### 只存在中文时
 
 
@@ -579,7 +562,7 @@ def score_(self, tfts):
 - 然后将 `tk` 存放在 `tms` 中
 -----
 
-最终进行数据的拼接：各种权重的配置拼接查询表达式
+最终进行数据的拼接：各种权重的配置拼接
 
 ```python
 tms = " ".join([f"({t})^{w}" for t, w in tms])
@@ -604,15 +587,36 @@ if qs:
     ), keywords
 ```
 
-#### self.get_vector
-
+#### self.get_vector转化原始问题为向量
 
-#### self.dataStore.search
+直接使用向量模型转化问题为向量，检查维度 `shape` 是否为 1，然后将向量数据转化为 `float` 数据数组，动态生成向量列名：`q_{向量长度}_vec`
 
+```python
+def get_vector(self, txt, emb_mdl, topk=10, similarity=0.1):
+    qv, _ = emb_mdl.encode_queries(txt)
+    shape = np.array(qv).shape
+    if len(shape) > 1:
+        raise Exception(
+            f"Dealer.get_vector returned array's shape {shape} doesn't match expectation(exact one dimension).")
+    embedding_data = [get_float(v) for v in qv]
+    vector_column_name = f"q_{len(embedding_data)}_vec"
+    return MatchDenseExpr(vector_column_name, embedding_data, 'float', 'cosine', topk, {"similarity": similarity})
+```
 
-#### 检索逻辑总结
+#### self.dataStore.search使用原始问题向量和扩展问题后的数据进行检索
 
+`this.dataStore`本质就是 `ES/Infinity`，直接调用了对应的 `search()` 方法进行检索
 
+```python
+if lower_case_doc_engine == "elasticsearch":
+    docStoreConn = rag.utils.es_conn.ESConnection()
+elif lower_case_doc_engine == "infinity":
+    docStoreConn = rag.utils.infinity_conn.InfinityConnection()
+else:
+    raise Exception(f"Not supported doc engine: {DOC_ENGINE}")
+
+retrievaler = search.Dealer(docStoreConn)
+```
 
 -----