This commit is contained in:
mozzie 2024-03-28 12:59:20 +08:00
parent 92a7d900a9
commit 8feca18d2f
14 changed files with 503 additions and 489 deletions

File diff suppressed because one or more lines are too long

View File

@ -197,7 +197,7 @@
<span>RAG知识库召回率</span> <span>RAG知识库召回率</span>
</div> </div>
<p>通用的RAG方案的召回率不一定召回率越高越好对于准确性也需要考虑通用的召回率大概在70%不论是dify还是fastgpt对于生产场景要求起码到90%的水平 <p>通用的RAG方案的召回率不一定召回率越高越好对于准确性也需要考虑通用的召回率大概在70%不论是dify还是fastgpt对于生产场景要求起码到90%的水平
意图分类提问的内容很短、缩写的情况...</p> 如何提升召回率数据预处理针对LLM...</p>
</div> </div>
</a> </a>
</li> </li>
@ -347,6 +347,55 @@ typedef struct&amp;#123;
</a> </a>
</li> </li>
<li>
<a class="timeline-item" href="/posts/58551/">
<div class="timeline-info">
<cosy-tooltip><span slot="content">完成</span><cosy-icon size="sm"><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" viewBox="0 0 24 24"><g fill="none" stroke="currentColor" stroke-width="2" stroke-linecap="round" stroke-linejoin="round"><circle cx="12" cy="12" r="9"></circle><path d="M9 12l2 2l4-4"></path></g></svg></cosy-icon></cosy-tooltip>
<span>03-15 14:44:57</span>
</div>
<div class="timeline-marker"></div>
<div class="timeline-content">
<div class="timeline-title ellipsis">
<span>短视频账号起号逻辑</span>
</div>
<p>抖音流量池
级别
曝光次数
播放量范围
初级流量池
冷启动
0~500
二次曝光
3K~5K
三次曝光
1W~2W
四次曝光(人工复审)
10W~15W
中级流量池
五...</p>
</div>
</a>
</li>
<li> <li>
<a class="timeline-item" href="/posts/8323/"> <a class="timeline-item" href="/posts/8323/">
<div class="timeline-info"> <div class="timeline-info">
@ -467,55 +516,6 @@ typedef struct&amp;#123;
</a> </a>
</li> </li>
<li>
<a class="timeline-item" href="/posts/58551/">
<div class="timeline-info">
<cosy-tooltip><span slot="content">完成</span><cosy-icon size="sm"><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" viewBox="0 0 24 24"><g fill="none" stroke="currentColor" stroke-width="2" stroke-linecap="round" stroke-linejoin="round"><circle cx="12" cy="12" r="9"></circle><path d="M9 12l2 2l4-4"></path></g></svg></cosy-icon></cosy-tooltip>
<span>03-15 14:44:57</span>
</div>
<div class="timeline-marker"></div>
<div class="timeline-content">
<div class="timeline-title ellipsis">
<span>短视频账号起号逻辑</span>
</div>
<p>抖音流量池
级别
曝光次数
播放量范围
初级流量池
冷启动
0~500
二次曝光
3K~5K
三次曝光
1W~2W
四次曝光(人工复审)
10W~15W
中级流量池
五...</p>
</div>
</a>
</li>
<li> <li>
<a class="timeline-item" href="/posts/31204/"> <a class="timeline-item" href="/posts/31204/">
<div class="timeline-info"> <div class="timeline-info">

View File

@ -197,7 +197,7 @@
<span>RAG知识库召回率</span> <span>RAG知识库召回率</span>
</div> </div>
<p>通用的RAG方案的召回率不一定召回率越高越好对于准确性也需要考虑通用的召回率大概在70%不论是dify还是fastgpt对于生产场景要求起码到90%的水平 <p>通用的RAG方案的召回率不一定召回率越高越好对于准确性也需要考虑通用的召回率大概在70%不论是dify还是fastgpt对于生产场景要求起码到90%的水平
意图分类提问的内容很短、缩写的情况...</p> 如何提升召回率数据预处理针对LLM...</p>
</div> </div>
</a> </a>
</li> </li>
@ -347,6 +347,55 @@ typedef struct&amp;#123;
</a> </a>
</li> </li>
<li>
<a class="timeline-item" href="/posts/58551/">
<div class="timeline-info">
<cosy-tooltip><span slot="content">完成</span><cosy-icon size="sm"><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" viewBox="0 0 24 24"><g fill="none" stroke="currentColor" stroke-width="2" stroke-linecap="round" stroke-linejoin="round"><circle cx="12" cy="12" r="9"></circle><path d="M9 12l2 2l4-4"></path></g></svg></cosy-icon></cosy-tooltip>
<span>03-15 14:44:57</span>
</div>
<div class="timeline-marker"></div>
<div class="timeline-content">
<div class="timeline-title ellipsis">
<span>短视频账号起号逻辑</span>
</div>
<p>抖音流量池
级别
曝光次数
播放量范围
初级流量池
冷启动
0~500
二次曝光
3K~5K
三次曝光
1W~2W
四次曝光(人工复审)
10W~15W
中级流量池
五...</p>
</div>
</a>
</li>
<li> <li>
<a class="timeline-item" href="/posts/8323/"> <a class="timeline-item" href="/posts/8323/">
<div class="timeline-info"> <div class="timeline-info">
@ -467,55 +516,6 @@ typedef struct&amp;#123;
</a> </a>
</li> </li>
<li>
<a class="timeline-item" href="/posts/58551/">
<div class="timeline-info">
<cosy-tooltip><span slot="content">完成</span><cosy-icon size="sm"><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" viewBox="0 0 24 24"><g fill="none" stroke="currentColor" stroke-width="2" stroke-linecap="round" stroke-linejoin="round"><circle cx="12" cy="12" r="9"></circle><path d="M9 12l2 2l4-4"></path></g></svg></cosy-icon></cosy-tooltip>
<span>03-15 14:44:57</span>
</div>
<div class="timeline-marker"></div>
<div class="timeline-content">
<div class="timeline-title ellipsis">
<span>短视频账号起号逻辑</span>
</div>
<p>抖音流量池
级别
曝光次数
播放量范围
初级流量池
冷启动
0~500
二次曝光
3K~5K
三次曝光
1W~2W
四次曝光(人工复审)
10W~15W
中级流量池
五...</p>
</div>
</a>
</li>
<li> <li>
<a class="timeline-item" href="/posts/31204/"> <a class="timeline-item" href="/posts/31204/">
<div class="timeline-info"> <div class="timeline-info">

View File

@ -197,7 +197,7 @@
<span>RAG知识库召回率</span> <span>RAG知识库召回率</span>
</div> </div>
<p>通用的RAG方案的召回率不一定召回率越高越好对于准确性也需要考虑通用的召回率大概在70%不论是dify还是fastgpt对于生产场景要求起码到90%的水平 <p>通用的RAG方案的召回率不一定召回率越高越好对于准确性也需要考虑通用的召回率大概在70%不论是dify还是fastgpt对于生产场景要求起码到90%的水平
意图分类提问的内容很短、缩写的情况...</p> 如何提升召回率数据预处理针对LLM...</p>
</div> </div>
</a> </a>
</li> </li>
@ -347,6 +347,55 @@ typedef struct&amp;#123;
</a> </a>
</li> </li>
<li>
<a class="timeline-item" href="/posts/58551/">
<div class="timeline-info">
<cosy-tooltip><span slot="content">完成</span><cosy-icon size="sm"><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" viewBox="0 0 24 24"><g fill="none" stroke="currentColor" stroke-width="2" stroke-linecap="round" stroke-linejoin="round"><circle cx="12" cy="12" r="9"></circle><path d="M9 12l2 2l4-4"></path></g></svg></cosy-icon></cosy-tooltip>
<span>03-15 14:44:57</span>
</div>
<div class="timeline-marker"></div>
<div class="timeline-content">
<div class="timeline-title ellipsis">
<span>短视频账号起号逻辑</span>
</div>
<p>抖音流量池
级别
曝光次数
播放量范围
初级流量池
冷启动
0~500
二次曝光
3K~5K
三次曝光
1W~2W
四次曝光(人工复审)
10W~15W
中级流量池
五...</p>
</div>
</a>
</li>
<li> <li>
<a class="timeline-item" href="/posts/8323/"> <a class="timeline-item" href="/posts/8323/">
<div class="timeline-info"> <div class="timeline-info">
@ -467,55 +516,6 @@ typedef struct&amp;#123;
</a> </a>
</li> </li>
<li>
<a class="timeline-item" href="/posts/58551/">
<div class="timeline-info">
<cosy-tooltip><span slot="content">完成</span><cosy-icon size="sm"><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" viewBox="0 0 24 24"><g fill="none" stroke="currentColor" stroke-width="2" stroke-linecap="round" stroke-linejoin="round"><circle cx="12" cy="12" r="9"></circle><path d="M9 12l2 2l4-4"></path></g></svg></cosy-icon></cosy-tooltip>
<span>03-15 14:44:57</span>
</div>
<div class="timeline-marker"></div>
<div class="timeline-content">
<div class="timeline-title ellipsis">
<span>短视频账号起号逻辑</span>
</div>
<p>抖音流量池
级别
曝光次数
播放量范围
初级流量池
冷启动
0~500
二次曝光
3K~5K
三次曝光
1W~2W
四次曝光(人工复审)
10W~15W
中级流量池
五...</p>
</div>
</a>
</li>
<li> <li>
<a class="timeline-item" href="/posts/31204/"> <a class="timeline-item" href="/posts/31204/">
<div class="timeline-info"> <div class="timeline-info">

View File

@ -197,7 +197,7 @@
<span>RAG知识库召回率</span> <span>RAG知识库召回率</span>
</div> </div>
<p>通用的RAG方案的召回率不一定召回率越高越好对于准确性也需要考虑通用的召回率大概在70%不论是dify还是fastgpt对于生产场景要求起码到90%的水平 <p>通用的RAG方案的召回率不一定召回率越高越好对于准确性也需要考虑通用的召回率大概在70%不论是dify还是fastgpt对于生产场景要求起码到90%的水平
意图分类提问的内容很短、缩写的情况...</p> 如何提升召回率数据预处理针对LLM...</p>
</div> </div>
</a> </a>
</li> </li>
@ -347,6 +347,55 @@ typedef struct&amp;#123;
</a> </a>
</li> </li>
<li>
<a class="timeline-item" href="/posts/58551/">
<div class="timeline-info">
<cosy-tooltip><span slot="content">完成</span><cosy-icon size="sm"><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" viewBox="0 0 24 24"><g fill="none" stroke="currentColor" stroke-width="2" stroke-linecap="round" stroke-linejoin="round"><circle cx="12" cy="12" r="9"></circle><path d="M9 12l2 2l4-4"></path></g></svg></cosy-icon></cosy-tooltip>
<span>03-15 14:44:57</span>
</div>
<div class="timeline-marker"></div>
<div class="timeline-content">
<div class="timeline-title ellipsis">
<span>短视频账号起号逻辑</span>
</div>
<p>抖音流量池
级别
曝光次数
播放量范围
初级流量池
冷启动
0~500
二次曝光
3K~5K
三次曝光
1W~2W
四次曝光(人工复审)
10W~15W
中级流量池
五...</p>
</div>
</a>
</li>
<li> <li>
<a class="timeline-item" href="/posts/8323/"> <a class="timeline-item" href="/posts/8323/">
<div class="timeline-info"> <div class="timeline-info">
@ -467,55 +516,6 @@ typedef struct&amp;#123;
</a> </a>
</li> </li>
<li>
<a class="timeline-item" href="/posts/58551/">
<div class="timeline-info">
<cosy-tooltip><span slot="content">完成</span><cosy-icon size="sm"><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" viewBox="0 0 24 24"><g fill="none" stroke="currentColor" stroke-width="2" stroke-linecap="round" stroke-linejoin="round"><circle cx="12" cy="12" r="9"></circle><path d="M9 12l2 2l4-4"></path></g></svg></cosy-icon></cosy-tooltip>
<span>03-15 14:44:57</span>
</div>
<div class="timeline-marker"></div>
<div class="timeline-content">
<div class="timeline-title ellipsis">
<span>短视频账号起号逻辑</span>
</div>
<p>抖音流量池
级别
曝光次数
播放量范围
初级流量池
冷启动
0~500
二次曝光
3K~5K
三次曝光
1W~2W
四次曝光(人工复审)
10W~15W
中级流量池
五...</p>
</div>
</a>
</li>
<li> <li>
<a class="timeline-item" href="/posts/31204/"> <a class="timeline-item" href="/posts/31204/">
<div class="timeline-info"> <div class="timeline-info">

View File

@ -197,7 +197,7 @@
<span>RAG知识库召回率</span> <span>RAG知识库召回率</span>
</div> </div>
<p>通用的RAG方案的召回率不一定召回率越高越好对于准确性也需要考虑通用的召回率大概在70%不论是dify还是fastgpt对于生产场景要求起码到90%的水平 <p>通用的RAG方案的召回率不一定召回率越高越好对于准确性也需要考虑通用的召回率大概在70%不论是dify还是fastgpt对于生产场景要求起码到90%的水平
意图分类提问的内容很短、缩写的情况...</p> 如何提升召回率数据预处理针对LLM...</p>
</div> </div>
</a> </a>
</li> </li>
@ -347,6 +347,55 @@ typedef struct&amp;#123;
</a> </a>
</li> </li>
<li>
<a class="timeline-item" href="/posts/58551/">
<div class="timeline-info">
<cosy-tooltip><span slot="content">完成</span><cosy-icon size="sm"><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" viewBox="0 0 24 24"><g fill="none" stroke="currentColor" stroke-width="2" stroke-linecap="round" stroke-linejoin="round"><circle cx="12" cy="12" r="9"></circle><path d="M9 12l2 2l4-4"></path></g></svg></cosy-icon></cosy-tooltip>
<span>03-15 14:44:57</span>
</div>
<div class="timeline-marker"></div>
<div class="timeline-content">
<div class="timeline-title ellipsis">
<span>短视频账号起号逻辑</span>
</div>
<p>抖音流量池
级别
曝光次数
播放量范围
初级流量池
冷启动
0~500
二次曝光
3K~5K
三次曝光
1W~2W
四次曝光(人工复审)
10W~15W
中级流量池
五...</p>
</div>
</a>
</li>
<li> <li>
<a class="timeline-item" href="/posts/8323/"> <a class="timeline-item" href="/posts/8323/">
<div class="timeline-info"> <div class="timeline-info">
@ -467,55 +516,6 @@ typedef struct&amp;#123;
</a> </a>
</li> </li>
<li>
<a class="timeline-item" href="/posts/58551/">
<div class="timeline-info">
<cosy-tooltip><span slot="content">完成</span><cosy-icon size="sm"><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" viewBox="0 0 24 24"><g fill="none" stroke="currentColor" stroke-width="2" stroke-linecap="round" stroke-linejoin="round"><circle cx="12" cy="12" r="9"></circle><path d="M9 12l2 2l4-4"></path></g></svg></cosy-icon></cosy-tooltip>
<span>03-15 14:44:57</span>
</div>
<div class="timeline-marker"></div>
<div class="timeline-content">
<div class="timeline-title ellipsis">
<span>短视频账号起号逻辑</span>
</div>
<p>抖音流量池
级别
曝光次数
播放量范围
初级流量池
冷启动
0~500
二次曝光
3K~5K
三次曝光
1W~2W
四次曝光(人工复审)
10W~15W
中级流量池
五...</p>
</div>
</a>
</li>
<li> <li>
<a class="timeline-item" href="/posts/31204/"> <a class="timeline-item" href="/posts/31204/">
<div class="timeline-info"> <div class="timeline-info">

View File

@ -197,7 +197,7 @@
<span>RAG知识库召回率</span> <span>RAG知识库召回率</span>
</div> </div>
<p>通用的RAG方案的召回率不一定召回率越高越好对于准确性也需要考虑通用的召回率大概在70%不论是dify还是fastgpt对于生产场景要求起码到90%的水平 <p>通用的RAG方案的召回率不一定召回率越高越好对于准确性也需要考虑通用的召回率大概在70%不论是dify还是fastgpt对于生产场景要求起码到90%的水平
意图分类提问的内容很短、缩写的情况...</p> 如何提升召回率数据预处理针对LLM...</p>
</div> </div>
</a> </a>
</li> </li>
@ -347,6 +347,55 @@ typedef struct&amp;#123;
</a> </a>
</li> </li>
<li>
<a class="timeline-item" href="/posts/58551/">
<div class="timeline-info">
<cosy-tooltip><span slot="content">完成</span><cosy-icon size="sm"><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" viewBox="0 0 24 24"><g fill="none" stroke="currentColor" stroke-width="2" stroke-linecap="round" stroke-linejoin="round"><circle cx="12" cy="12" r="9"></circle><path d="M9 12l2 2l4-4"></path></g></svg></cosy-icon></cosy-tooltip>
<span>03-15 14:44:57</span>
</div>
<div class="timeline-marker"></div>
<div class="timeline-content">
<div class="timeline-title ellipsis">
<span>短视频账号起号逻辑</span>
</div>
<p>抖音流量池
级别
曝光次数
播放量范围
初级流量池
冷启动
0~500
二次曝光
3K~5K
三次曝光
1W~2W
四次曝光(人工复审)
10W~15W
中级流量池
五...</p>
</div>
</a>
</li>
<li> <li>
<a class="timeline-item" href="/posts/8323/"> <a class="timeline-item" href="/posts/8323/">
<div class="timeline-info"> <div class="timeline-info">
@ -467,55 +516,6 @@ typedef struct&amp;#123;
</a> </a>
</li> </li>
<li>
<a class="timeline-item" href="/posts/58551/">
<div class="timeline-info">
<cosy-tooltip><span slot="content">完成</span><cosy-icon size="sm"><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" viewBox="0 0 24 24"><g fill="none" stroke="currentColor" stroke-width="2" stroke-linecap="round" stroke-linejoin="round"><circle cx="12" cy="12" r="9"></circle><path d="M9 12l2 2l4-4"></path></g></svg></cosy-icon></cosy-tooltip>
<span>03-15 14:44:57</span>
</div>
<div class="timeline-marker"></div>
<div class="timeline-content">
<div class="timeline-title ellipsis">
<span>短视频账号起号逻辑</span>
</div>
<p>抖音流量池
级别
曝光次数
播放量范围
初级流量池
冷启动
0~500
二次曝光
3K~5K
三次曝光
1W~2W
四次曝光(人工复审)
10W~15W
中级流量池
五...</p>
</div>
</a>
</li>
<li> <li>
<a class="timeline-item" href="/posts/31204/"> <a class="timeline-item" href="/posts/31204/">
<div class="timeline-info"> <div class="timeline-info">

View File

@ -197,7 +197,7 @@
<span>RAG知识库召回率</span> <span>RAG知识库召回率</span>
</div> </div>
<p>通用的RAG方案的召回率不一定召回率越高越好对于准确性也需要考虑通用的召回率大概在70%不论是dify还是fastgpt对于生产场景要求起码到90%的水平 <p>通用的RAG方案的召回率不一定召回率越高越好对于准确性也需要考虑通用的召回率大概在70%不论是dify还是fastgpt对于生产场景要求起码到90%的水平
意图分类提问的内容很短、缩写的情况...</p> 如何提升召回率数据预处理针对LLM...</p>
</div> </div>
</a> </a>
</li> </li>
@ -347,6 +347,55 @@ typedef struct&amp;#123;
</a> </a>
</li> </li>
<li>
<a class="timeline-item" href="/posts/58551/">
<div class="timeline-info">
<cosy-tooltip><span slot="content">完成</span><cosy-icon size="sm"><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" viewBox="0 0 24 24"><g fill="none" stroke="currentColor" stroke-width="2" stroke-linecap="round" stroke-linejoin="round"><circle cx="12" cy="12" r="9"></circle><path d="M9 12l2 2l4-4"></path></g></svg></cosy-icon></cosy-tooltip>
<span>03-15 14:44:57</span>
</div>
<div class="timeline-marker"></div>
<div class="timeline-content">
<div class="timeline-title ellipsis">
<span>短视频账号起号逻辑</span>
</div>
<p>抖音流量池
级别
曝光次数
播放量范围
初级流量池
冷启动
0~500
二次曝光
3K~5K
三次曝光
1W~2W
四次曝光(人工复审)
10W~15W
中级流量池
五...</p>
</div>
</a>
</li>
<li> <li>
<a class="timeline-item" href="/posts/8323/"> <a class="timeline-item" href="/posts/8323/">
<div class="timeline-info"> <div class="timeline-info">
@ -467,55 +516,6 @@ typedef struct&amp;#123;
</a> </a>
</li> </li>
<li>
<a class="timeline-item" href="/posts/58551/">
<div class="timeline-info">
<cosy-tooltip><span slot="content">完成</span><cosy-icon size="sm"><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" viewBox="0 0 24 24"><g fill="none" stroke="currentColor" stroke-width="2" stroke-linecap="round" stroke-linejoin="round"><circle cx="12" cy="12" r="9"></circle><path d="M9 12l2 2l4-4"></path></g></svg></cosy-icon></cosy-tooltip>
<span>03-15 14:44:57</span>
</div>
<div class="timeline-marker"></div>
<div class="timeline-content">
<div class="timeline-title ellipsis">
<span>短视频账号起号逻辑</span>
</div>
<p>抖音流量池
级别
曝光次数
播放量范围
初级流量池
冷启动
0~500
二次曝光
3K~5K
三次曝光
1W~2W
四次曝光(人工复审)
10W~15W
中级流量池
五...</p>
</div>
</a>
</li>
<li> <li>
<a class="timeline-item" href="/posts/31204/"> <a class="timeline-item" href="/posts/31204/">
<div class="timeline-info"> <div class="timeline-info">

View File

@ -197,7 +197,7 @@
<span>RAG知识库召回率</span> <span>RAG知识库召回率</span>
</div> </div>
<p>通用的RAG方案的召回率不一定召回率越高越好对于准确性也需要考虑通用的召回率大概在70%不论是dify还是fastgpt对于生产场景要求起码到90%的水平 <p>通用的RAG方案的召回率不一定召回率越高越好对于准确性也需要考虑通用的召回率大概在70%不论是dify还是fastgpt对于生产场景要求起码到90%的水平
意图分类提问的内容很短、缩写的情况...</p> 如何提升召回率数据预处理针对LLM...</p>
</div> </div>
</a> </a>
</li> </li>
@ -347,6 +347,55 @@ typedef struct&amp;#123;
</a> </a>
</li> </li>
<li>
<a class="timeline-item" href="/posts/58551/">
<div class="timeline-info">
<cosy-tooltip><span slot="content">完成</span><cosy-icon size="sm"><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" viewBox="0 0 24 24"><g fill="none" stroke="currentColor" stroke-width="2" stroke-linecap="round" stroke-linejoin="round"><circle cx="12" cy="12" r="9"></circle><path d="M9 12l2 2l4-4"></path></g></svg></cosy-icon></cosy-tooltip>
<span>03-15 14:44:57</span>
</div>
<div class="timeline-marker"></div>
<div class="timeline-content">
<div class="timeline-title ellipsis">
<span>短视频账号起号逻辑</span>
</div>
<p>抖音流量池
级别
曝光次数
播放量范围
初级流量池
冷启动
0~500
二次曝光
3K~5K
三次曝光
1W~2W
四次曝光(人工复审)
10W~15W
中级流量池
五...</p>
</div>
</a>
</li>
<li> <li>
<a class="timeline-item" href="/posts/8323/"> <a class="timeline-item" href="/posts/8323/">
<div class="timeline-info"> <div class="timeline-info">
@ -467,55 +516,6 @@ typedef struct&amp;#123;
</a> </a>
</li> </li>
<li>
<a class="timeline-item" href="/posts/58551/">
<div class="timeline-info">
<cosy-tooltip><span slot="content">完成</span><cosy-icon size="sm"><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" viewBox="0 0 24 24"><g fill="none" stroke="currentColor" stroke-width="2" stroke-linecap="round" stroke-linejoin="round"><circle cx="12" cy="12" r="9"></circle><path d="M9 12l2 2l4-4"></path></g></svg></cosy-icon></cosy-tooltip>
<span>03-15 14:44:57</span>
</div>
<div class="timeline-marker"></div>
<div class="timeline-content">
<div class="timeline-title ellipsis">
<span>短视频账号起号逻辑</span>
</div>
<p>抖音流量池
级别
曝光次数
播放量范围
初级流量池
冷启动
0~500
二次曝光
3K~5K
三次曝光
1W~2W
四次曝光(人工复审)
10W~15W
中级流量池
五...</p>
</div>
</a>
</li>
<li> <li>
<a class="timeline-item" href="/posts/31204/"> <a class="timeline-item" href="/posts/31204/">
<div class="timeline-info"> <div class="timeline-info">

View File

@ -197,7 +197,7 @@
<span>RAG知识库召回率</span> <span>RAG知识库召回率</span>
</div> </div>
<p>通用的RAG方案的召回率不一定召回率越高越好对于准确性也需要考虑通用的召回率大概在70%不论是dify还是fastgpt对于生产场景要求起码到90%的水平 <p>通用的RAG方案的召回率不一定召回率越高越好对于准确性也需要考虑通用的召回率大概在70%不论是dify还是fastgpt对于生产场景要求起码到90%的水平
意图分类提问的内容很短、缩写的情况...</p> 如何提升召回率数据预处理针对LLM...</p>
</div> </div>
</a> </a>
</li> </li>
@ -347,6 +347,55 @@ typedef struct&amp;#123;
</a> </a>
</li> </li>
<li>
<a class="timeline-item" href="/posts/58551/">
<div class="timeline-info">
<cosy-tooltip><span slot="content">完成</span><cosy-icon size="sm"><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" viewBox="0 0 24 24"><g fill="none" stroke="currentColor" stroke-width="2" stroke-linecap="round" stroke-linejoin="round"><circle cx="12" cy="12" r="9"></circle><path d="M9 12l2 2l4-4"></path></g></svg></cosy-icon></cosy-tooltip>
<span>03-15 14:44:57</span>
</div>
<div class="timeline-marker"></div>
<div class="timeline-content">
<div class="timeline-title ellipsis">
<span>短视频账号起号逻辑</span>
</div>
<p>抖音流量池
级别
曝光次数
播放量范围
初级流量池
冷启动
0~500
二次曝光
3K~5K
三次曝光
1W~2W
四次曝光(人工复审)
10W~15W
中级流量池
五...</p>
</div>
</a>
</li>
<li> <li>
<a class="timeline-item" href="/posts/8323/"> <a class="timeline-item" href="/posts/8323/">
<div class="timeline-info"> <div class="timeline-info">
@ -467,55 +516,6 @@ typedef struct&amp;#123;
</a> </a>
</li> </li>
<li>
<a class="timeline-item" href="/posts/58551/">
<div class="timeline-info">
<cosy-tooltip><span slot="content">完成</span><cosy-icon size="sm"><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" viewBox="0 0 24 24"><g fill="none" stroke="currentColor" stroke-width="2" stroke-linecap="round" stroke-linejoin="round"><circle cx="12" cy="12" r="9"></circle><path d="M9 12l2 2l4-4"></path></g></svg></cosy-icon></cosy-tooltip>
<span>03-15 14:44:57</span>
</div>
<div class="timeline-marker"></div>
<div class="timeline-content">
<div class="timeline-title ellipsis">
<span>短视频账号起号逻辑</span>
</div>
<p>抖音流量池
级别
曝光次数
播放量范围
初级流量池
冷启动
0~500
二次曝光
3K~5K
三次曝光
1W~2W
四次曝光(人工复审)
10W~15W
中级流量池
五...</p>
</div>
</a>
</li>
<li> <li>
<a class="timeline-item" href="/posts/31204/"> <a class="timeline-item" href="/posts/31204/">
<div class="timeline-info"> <div class="timeline-info">

View File

@ -228,7 +228,7 @@
<!-- 文章标题 --> <!-- 文章标题 -->
<h1 class="post-title"></h1> <h1 class="post-title"></h1>
<div class="last-updated"> <div class="last-updated">
上次更新: 2024-03-28 12:11:08 上次更新: 2024-03-28 12:32:07
</div> </div>
<!-- 文章 --> <!-- 文章 -->
<h1 id="stdio-h"><a href="#stdio-h" class="headerlink" title="stdio.h"></a>stdio.h</h1><table> <h1 id="stdio-h"><a href="#stdio-h" class="headerlink" title="stdio.h"></a>stdio.h</h1><table>

View File

@ -248,24 +248,25 @@
<!-- 文章标题 --> <!-- 文章标题 -->
<h1 class="post-title">RAG知识库召回率</h1> <h1 class="post-title">RAG知识库召回率</h1>
<div class="last-updated"> <div class="last-updated">
上次更新: 2024-03-28 12:31:56 上次更新: 2024-03-28 12:58:29
</div> </div>
<!-- 文章 --> <!-- 文章 -->
<h1 id="通用的RAG方案的召回率"><a href="#通用的RAG方案的召回率" class="headerlink" title="通用的RAG方案的召回率"></a>通用的RAG方案的召回率</h1><p>不一定召回率越高越好,对于准确性也需要考虑,通用的召回率大概在<code>70%</code>,不论是<code>dify</code>还是<code>fastgpt</code>,对于生产场景,要求起码到<code>90%</code>的水平</p> <h1 id="通用的RAG方案的召回率"><a href="#通用的RAG方案的召回率" class="headerlink" title="通用的RAG方案的召回率"></a>通用的RAG方案的召回率</h1><p>不一定召回率越高越好,对于准确性也需要考虑,通用的召回率大概在<code>70%</code>,不论是<code>dify</code>还是<code>fastgpt</code>,对于生产场景,要求起码到<code>90%</code>的水平</p>
<h2 id="意图分类"><a href="#意图分类" class="headerlink" title="意图分类"></a>意图分类</h2><p>提问的内容很短、缩写的情况,如何命中用户的真实意图。这一步可以做一个缓存库当中,直接命中返回结构就行,不需要走<code>LLM</code></p> <h1 id="如何提升召回率"><a href="#如何提升召回率" class="headerlink" title="如何提升召回率"></a>如何提升召回率</h1><h2 id="数据预处理"><a href="#数据预处理" class="headerlink" title="数据预处理"></a>数据预处理</h2><p>针对<code>LLM</code>模型来说,数据治理变的很重要,在数据切分的过程中,需要符合人的逻辑去<code>分词</code>。按照人的逻辑,例如:表格、章节、目录……</p>
<p>针对<code>QA</code>,类似 <code>xxx企业的董事长是谁</code>,答案是必须正确的,上一代的客服系统必备。直接数据级别的匹配就行,召回一般都是比较准确的。</p> <h3 id="分词-chunk"><a href="#分词-chunk" class="headerlink" title="分词 chunk"></a>分词 chunk</h3><p><code>chunk</code><code>size</code>越大,召回越少。但是分的越精细,同样会损失上下文连贯性</p>
<p>针对某些场景例如<code>2021年的xxxx</code>,同样的<code>2022年的xxxx</code>也发生了,使用<code>embedding</code>容易给错误召回的,而<code>ES</code>的效果会更好。相当于通过从用户的问题中,捕捉关键词,然后通过这些<code>关键词</code>去库里召回。这样的<code>关键词</code>,可以不断的积累<code>字典</code>,针对关键词给解释。例如:</p> <h1 id="意图分类"><a href="#意图分类" class="headerlink" title="意图分类"></a>意图分类</h1><p>用户提问的内容,很短、缩写的情况,如何命中用户的<code>真实意图</code></p>
<p>某个提问<code>什么是RAG</code>,首先<code>RAG</code>对应的解释是:<code>增强向量检索的知识库</code>,那对应又引入的新的<code>关键词</code>,继续递归对新的<code>关键词</code>给出解释,通常迭代个<code>2-5轮</code>,就会有非常好的召回效果。字典里面通常会定义:同义词、类别、上下关系。私用飞书的话,内部标准自带一个<code>词典</code>应用,统一的业务领域的知识、语言体系。并且提供<code>api</code>从词典中提取关键字。直接通过关键字,把词条的内容读取出来。文本提取<code>关键词</code>也有很多开源模型能够提取,但是针对某些专业领域,一些开源不一定具备这样的提取能力。</p> <h2 id="缓存库"><a href="#缓存库" class="headerlink" title="缓存库"></a>缓存库</h2><p>可以做一个缓存库,直接命中返回结构就行,不需要走<code>LLM</code></p>
<h2 id="QA"><a href="#QA" class="headerlink" title="QA"></a>QA</h2><p>处理成<code>QA</code>的格式,类似 <code>xxx企业的董事长是谁</code>,答案是必须正确的,上一代的客服系统必备。直接数据级别的匹配就行,召回一般都是比较准确的。</p>
<h2 id="关键词-词典-迭代"><a href="#关键词-词典-迭代" class="headerlink" title="关键词+词典+迭代"></a>关键词+词典+迭代</h2><p>成本非常低,可控。思路是帮用户模糊,先提取关键词,再结合词典的词条解释,让表达更加的领域话、专业化,再扔给大语言模型。</p>
<p>例如:某个提问<code>什么是RAG</code>,首先<code>RAG</code>对应的解释是:<code>增强向量检索的知识库</code>,那对应又引入的新的<code>关键词</code>,继续递归对新的<code>关键词</code>给出解释,通常迭代个<code>2-5轮</code>,就会有非常好的召回效果。字典里面通常会定义:同义词、类别、上下关系。私用飞书的话,内部标准自带一个<code>词典</code>应用,统一的业务领域的知识、语言体系。并且提供<code>api</code>从词典中提取关键字。直接通过关键字,把词条的内容读取出来。文本提取<code>关键词</code>也有很多开源模型能够提取,但是针对某些专业领域,一些开源不一定具备这样的提取能力。</p>
<p>针对某些场景例如<code>2021年的xxxx</code>,同样的<code>2022年的xxxx</code>也发生了,使用<code>embedding</code>容易给错误召回的,而<code>ES</code>的效果会更好。相当于通过从用户的问题中,捕捉关键词,然后通过这些<code>关键词</code>去库里召回。这样的<code>关键词</code>,可以不断的积累<code>字典</code>,针对关键词给解释。</p>
<p>但是针对有日期、数字类的一般效果会非常不好,可以考虑采用<code>nl2sql</code>的方案,使用<code>fine-tuning</code>,能够做到召回率<code>90%</code>,有专门的模型针对这块,例如微软的<code>RAT-SQL</code>模型。</p> <p>但是针对有日期、数字类的一般效果会非常不好,可以考虑采用<code>nl2sql</code>的方案,使用<code>fine-tuning</code>,能够做到召回率<code>90%</code>,有专门的模型针对这块,例如微软的<code>RAT-SQL</code>模型。</p>
<p>针对<code>excel</code>类型的文件,直接把数据存到一张<code>宽表</code>中,不要跨表,降低复杂度。针对<code>nl2sql</code>的开源模型的能力基本都是<code>单表</code>,基本可以达到预期</p> <p>针对<code>excel</code>类型的文件,直接把数据存到一张<code>宽表</code>中,不要跨表,降低复杂度。针对<code>nl2sql</code>的开源模型的能力基本都是<code>单表</code>,基本可以达到预期</p>
<p>针对<code>LLM</code>模型来说,数据治理变的很重要,在数据切分的过程中,需要符合人的逻辑去<code>分词</code>。按照人的逻辑,例如:表格、章节、目录……</p> <h2 id="知识图谱"><a href="#知识图谱" class="headerlink" title="知识图谱"></a>知识图谱</h2><p>难点在于构建知识图谱,例如<code>dify</code>在针对某些回答不满意的情况,可以对回复进行修正。这样的话会让下次回答更加可控</p>
<h2 id="分词"><a href="#分词" class="headerlink" title="分词"></a>分词</h2><p><code>chunk</code><code>size</code>越大,召回越少</p> <h1 id="embedding哪个算法好"><a href="#embedding哪个算法好" class="headerlink" title="embedding哪个算法好"></a>embedding哪个算法好</h1><p>目前openai的最好能够输入1536个输入输出结果能切分到700多个维度。针对模型来说重要性并不是很高。可以考虑替代方案。差距不会非常大从实际角度来说并不是很重要。</p>
<h2 id="embedding"><a href="#embedding" class="headerlink" title="embedding"></a>embedding</h2><p><code>embedding方案</code>可以考虑引入<code>link memory</code>,可以提高<code>10%-20%</code>,在医疗文献领域,根据参考材料写综述是非常专业的。</p> <h1 id="国内知识库方案哪些底座比较好"><a href="#国内知识库方案哪些底座比较好" class="headerlink" title="国内知识库方案哪些底座比较好"></a>国内知识库方案哪些底座比较好</h1><p><code>qWen</code> 和 gpt 做过对齐,然后 <code>14B</code><code>72B int4</code> 效果就比较好,虽然比较慢,针对中文语料还是比较好的。</p>
<ul> <p>另一个就是 <code>yi-34b</code> 也还行。</p>
<li>文档切分是浅层信息类似chatPDF数据中加入了总结、归纳的内容</li> <h1 id="RAG的发展方向"><a href="#RAG的发展方向" class="headerlink" title="RAG的发展方向"></a>RAG的发展方向</h1>
<li>大模型生成摘要,总结上下文,再进行检索。</li>
</ul>
<h1 id="如何提升召回率"><a href="#如何提升召回率" class="headerlink" title="如何提升召回率"></a>如何提升召回率</h1><h1 id="embedding哪个算法好"><a href="#embedding哪个算法好" class="headerlink" title="embedding哪个算法好"></a>embedding哪个算法好</h1><h1 id="国内知识库方案哪些底座比较好"><a href="#国内知识库方案哪些底座比较好" class="headerlink" title="国内知识库方案哪些底座比较好"></a>国内知识库方案哪些底座比较好</h1><h1 id="RAG的发展方向"><a href="#RAG的发展方向" class="headerlink" title="RAG的发展方向"></a>RAG的发展方向</h1>
<div class="post-tags"> <div class="post-tags">
<!-- 文章tags --> <!-- 文章tags -->
@ -292,7 +293,7 @@
<span>目录</span> <span>目录</span>
</p> </p>
<!-- 文章toc --> <!-- 文章toc -->
<ol class="toc"><li class="toc-item toc-level-1"><a class="toc-link" href="#%E9%80%9A%E7%94%A8%E7%9A%84RAG%E6%96%B9%E6%A1%88%E7%9A%84%E5%8F%AC%E5%9B%9E%E7%8E%87"><span class="toc-number">1.</span> <span class="toc-text">通用的RAG方案的召回率</span></a><ol class="toc-child"><li class="toc-item toc-level-2"><a class="toc-link" href="#%E6%84%8F%E5%9B%BE%E5%88%86%E7%B1%BB"><span class="toc-number">1.1.</span> <span class="toc-text">意图分类</span></a></li><li class="toc-item toc-level-2"><a class="toc-link" href="#%E5%88%86%E8%AF%8D"><span class="toc-number">1.2.</span> <span class="toc-text">分词</span></a></li><li class="toc-item toc-level-2"><a class="toc-link" href="#embedding"><span class="toc-number">1.3.</span> <span class="toc-text">embedding</span></a></li></ol></li><li class="toc-item toc-level-1"><a class="toc-link" href="#%E5%A6%82%E4%BD%95%E6%8F%90%E5%8D%87%E5%8F%AC%E5%9B%9E%E7%8E%87"><span class="toc-number">2.</span> <span class="toc-text">如何提升召回率</span></a></li><li class="toc-item toc-level-1"><a class="toc-link" href="#embedding%E5%93%AA%E4%B8%AA%E7%AE%97%E6%B3%95%E5%A5%BD"><span class="toc-number">3.</span> <span class="toc-text">embedding哪个算法好</span></a></li><li class="toc-item toc-level-1"><a class="toc-link" href="#%E5%9B%BD%E5%86%85%E7%9F%A5%E8%AF%86%E5%BA%93%E6%96%B9%E6%A1%88%E5%93%AA%E4%BA%9B%E5%BA%95%E5%BA%A7%E6%AF%94%E8%BE%83%E5%A5%BD"><span class="toc-number">4.</span> <span class="toc-text">国内知识库方案哪些底座比较好</span></a></li><li class="toc-item toc-level-1"><a class="toc-link" href="#RAG%E7%9A%84%E5%8F%91%E5%B1%95%E6%96%B9%E5%90%91"><span class="toc-number">5.</span> <span class="toc-text">RAG的发展方向</span></a></li></ol> <ol class="toc"><li class="toc-item toc-level-1"><a class="toc-link" href="#%E9%80%9A%E7%94%A8%E7%9A%84RAG%E6%96%B9%E6%A1%88%E7%9A%84%E5%8F%AC%E5%9B%9E%E7%8E%87"><span class="toc-number">1.</span> <span class="toc-text">通用的RAG方案的召回率</span></a></li><li class="toc-item toc-level-1"><a class="toc-link" href="#%E5%A6%82%E4%BD%95%E6%8F%90%E5%8D%87%E5%8F%AC%E5%9B%9E%E7%8E%87"><span class="toc-number">2.</span> <span class="toc-text">如何提升召回率</span></a><ol class="toc-child"><li class="toc-item toc-level-2"><a class="toc-link" href="#%E6%95%B0%E6%8D%AE%E9%A2%84%E5%A4%84%E7%90%86"><span class="toc-number">2.1.</span> <span class="toc-text">数据预处理</span></a><ol class="toc-child"><li class="toc-item toc-level-3"><a class="toc-link" href="#%E5%88%86%E8%AF%8D-chunk"><span class="toc-number">2.1.1.</span> <span class="toc-text">分词 chunk</span></a></li></ol></li></ol></li><li class="toc-item toc-level-1"><a class="toc-link" href="#%E6%84%8F%E5%9B%BE%E5%88%86%E7%B1%BB"><span class="toc-number">3.</span> <span class="toc-text">意图分类</span></a><ol class="toc-child"><li class="toc-item toc-level-2"><a class="toc-link" href="#%E7%BC%93%E5%AD%98%E5%BA%93"><span class="toc-number">3.1.</span> <span class="toc-text">缓存库</span></a></li><li class="toc-item toc-level-2"><a class="toc-link" href="#QA"><span class="toc-number">3.2.</span> <span class="toc-text">QA</span></a></li><li class="toc-item toc-level-2"><a class="toc-link" href="#%E5%85%B3%E9%94%AE%E8%AF%8D-%E8%AF%8D%E5%85%B8-%E8%BF%AD%E4%BB%A3"><span class="toc-number">3.3.</span> <span class="toc-text">关键词+词典+迭代</span></a></li><li class="toc-item toc-level-2"><a class="toc-link" href="#%E7%9F%A5%E8%AF%86%E5%9B%BE%E8%B0%B1"><span class="toc-number">3.4.</span> <span class="toc-text">知识图谱</span></a></li></ol></li><li class="toc-item toc-level-1"><a class="toc-link" href="#embedding%E5%93%AA%E4%B8%AA%E7%AE%97%E6%B3%95%E5%A5%BD"><span class="toc-number">4.</span> <span class="toc-text">embedding哪个算法好</span></a></li><li class="toc-item toc-level-1"><a class="toc-link" href="#%E5%9B%BD%E5%86%85%E7%9F%A5%E8%AF%86%E5%BA%93%E6%96%B9%E6%A1%88%E5%93%AA%E4%BA%9B%E5%BA%95%E5%BA%A7%E6%AF%94%E8%BE%83%E5%A5%BD"><span class="toc-number">5.</span> <span class="toc-text">国内知识库方案哪些底座比较好</span></a></li><li class="toc-item toc-level-1"><a class="toc-link" href="#RAG%E7%9A%84%E5%8F%91%E5%B1%95%E6%96%B9%E5%90%91"><span class="toc-number">6.</span> <span class="toc-text">RAG的发展方向</span></a></li></ol>
</div> </div>
</div> </div>
</cosy-drag-box> </cosy-drag-box>

View File

@ -273,7 +273,7 @@
<p><a target="_blank" rel="noopener" href="https://baidu.com/">https://baidu.com</a></p> <p><a target="_blank" rel="noopener" href="https://baidu.com/">https://baidu.com</a></p>
<p><a target="_blank" rel="noopener" href="http://www.this-anchor-link.com/">锚点链接</a> </p> <p><a target="_blank" rel="noopener" href="http://www.this-anchor-link.com/">锚点链接</a> </p>
<p><a href="mailto:test.test@gmail.com">mailto:test.test@gmail.com</a></p> <p><a href="mailto:test.test@gmail.com">mailto:test.test@gmail.com</a></p>
<p>GFM a-tail link <a target="_blank" rel="noopener" href="https://my.oschina.net/u/3691274">@pandao</a> 邮箱地址自动链接 <a href="mailto:&#116;&#101;&#x73;&#x74;&#46;&#116;&#x65;&#x73;&#x74;&#64;&#x67;&#109;&#97;&#x69;&#108;&#x2e;&#99;&#x6f;&#109;">&#116;&#101;&#x73;&#x74;&#46;&#116;&#x65;&#x73;&#x74;&#64;&#x67;&#109;&#97;&#x69;&#108;&#x2e;&#99;&#x6f;&#109;</a> <a href="mailto:&#x77;&#x77;&#119;&#x40;&#x76;&#x69;&#x70;&#x2e;&#x71;&#x71;&#46;&#x63;&#111;&#109;">&#x77;&#x77;&#119;&#x40;&#x76;&#x69;&#x70;&#x2e;&#x71;&#x71;&#46;&#x63;&#111;&#109;</a></p> <p>GFM a-tail link <a target="_blank" rel="noopener" href="https://my.oschina.net/u/3691274">@pandao</a> 邮箱地址自动链接 <a href="mailto:&#116;&#x65;&#115;&#116;&#x2e;&#x74;&#x65;&#x73;&#116;&#64;&#103;&#109;&#x61;&#105;&#x6c;&#46;&#99;&#111;&#x6d;">&#116;&#x65;&#115;&#116;&#x2e;&#x74;&#x65;&#x73;&#116;&#64;&#103;&#109;&#x61;&#105;&#x6c;&#46;&#99;&#111;&#x6d;</a> <a href="mailto:&#119;&#119;&#x77;&#x40;&#118;&#105;&#x70;&#x2e;&#x71;&#x71;&#46;&#99;&#111;&#x6d;">&#119;&#119;&#x77;&#x40;&#118;&#105;&#x70;&#x2e;&#x71;&#x71;&#46;&#99;&#111;&#x6d;</a></p>
<blockquote> <blockquote>
<p>@pandao</p> <p>@pandao</p>
</blockquote> </blockquote>

View File

@ -10,42 +10,55 @@ abbrlink: 21037
不一定召回率越高越好,对于准确性也需要考虑,通用的召回率大概在`70%`,不论是`dify`还是`fastgpt`,对于生产场景,要求起码到`90%`的水平 不一定召回率越高越好,对于准确性也需要考虑,通用的召回率大概在`70%`,不论是`dify`还是`fastgpt`,对于生产场景,要求起码到`90%`的水平
## 意图分类
提问的内容很短、缩写的情况,如何命中用户的真实意图。这一步可以做一个缓存库当中,直接命中返回结构就行,不需要走`LLM` # 如何提升召回率
针对`QA`,类似 `xxx企业的董事长是谁`,答案是必须正确的,上一代的客服系统必备。直接数据级别的匹配就行,召回一般都是比较准确的。 ## 数据预处理
针对某些场景例如`2021年的xxxx`,同样的`2022年的xxxx`也发生了,使用`embedding`容易给错误召回的,而`ES`的效果会更好。相当于通过从用户的问题中,捕捉关键词,然后通过这些`关键词`去库里召回。这样的`关键词`,可以不断的积累`字典`,针对关键词给解释。例如: 针对`LLM`模型来说,数据治理变的很重要,在数据切分的过程中,需要符合人的逻辑去`分词`。按照人的逻辑,例如:表格、章节、目录……
某个提问`什么是RAG`,首先`RAG`对应的解释是:`增强向量检索的知识库`,那对应又引入的新的`关键词`,继续递归对新的`关键词`给出解释,通常迭代个`2-5轮`,就会有非常好的召回效果。字典里面通常会定义:同义词、类别、上下关系。私用飞书的话,内部标准自带一个`词典`应用,统一的业务领域的知识、语言体系。并且提供`api`从词典中提取关键字。直接通过关键字,把词条的内容读取出来。文本提取`关键词`也有很多开源模型能够提取,但是针对某些专业领域,一些开源不一定具备这样的提取能力。 ### 分词 chunk
`chunk`的`size`越大,召回越少。但是分的越精细,同样会损失上下文连贯性
# 意图分类
用户提问的内容,很短、缩写的情况,如何命中用户的`真实意图`。
## 缓存库
可以做一个缓存库,直接命中返回结构就行,不需要走`LLM`
## QA
处理成`QA`的格式,类似 `xxx企业的董事长是谁`,答案是必须正确的,上一代的客服系统必备。直接数据级别的匹配就行,召回一般都是比较准确的。
## 关键词+词典+迭代
成本非常低,可控。思路是帮用户模糊,先提取关键词,再结合词典的词条解释,让表达更加的领域话、专业化,再扔给大语言模型。
例如:某个提问`什么是RAG`,首先`RAG`对应的解释是:`增强向量检索的知识库`,那对应又引入的新的`关键词`,继续递归对新的`关键词`给出解释,通常迭代个`2-5轮`,就会有非常好的召回效果。字典里面通常会定义:同义词、类别、上下关系。私用飞书的话,内部标准自带一个`词典`应用,统一的业务领域的知识、语言体系。并且提供`api`从词典中提取关键字。直接通过关键字,把词条的内容读取出来。文本提取`关键词`也有很多开源模型能够提取,但是针对某些专业领域,一些开源不一定具备这样的提取能力。
针对某些场景例如`2021年的xxxx`,同样的`2022年的xxxx`也发生了,使用`embedding`容易给错误召回的,而`ES`的效果会更好。相当于通过从用户的问题中,捕捉关键词,然后通过这些`关键词`去库里召回。这样的`关键词`,可以不断的积累`字典`,针对关键词给解释。
但是针对有日期、数字类的一般效果会非常不好,可以考虑采用`nl2sql`的方案,使用`fine-tuning`,能够做到召回率`90%`,有专门的模型针对这块,例如微软的`RAT-SQL`模型。 但是针对有日期、数字类的一般效果会非常不好,可以考虑采用`nl2sql`的方案,使用`fine-tuning`,能够做到召回率`90%`,有专门的模型针对这块,例如微软的`RAT-SQL`模型。
针对`excel`类型的文件,直接把数据存到一张`宽表`中,不要跨表,降低复杂度。针对`nl2sql`的开源模型的能力基本都是`单表`,基本可以达到预期 针对`excel`类型的文件,直接把数据存到一张`宽表`中,不要跨表,降低复杂度。针对`nl2sql`的开源模型的能力基本都是`单表`,基本可以达到预期
## 知识图谱
难点在于构建知识图谱,例如`dify`在针对某些回答不满意的情况,可以对回复进行修正。这样的话会让下次回答更加可控
针对`LLM`模型来说,数据治理变的很重要,在数据切分的过程中,需要符合人的逻辑去`分词`。按照人的逻辑,例如:表格、章节、目录……
## 分词
`chunk`的`size`越大,召回越少
## embedding
`embedding方案`可以考虑引入`link memory`,可以提高`10%-20%`,在医疗文献领域,根据参考材料写综述是非常专业的。
- 文档切分是浅层信息类似chatPDF数据中加入了总结、归纳的内容
- 大模型生成摘要,总结上下文,再进行检索。
# 如何提升召回率
# embedding哪个算法好 # embedding哪个算法好
目前openai的最好能够输入1536个输入输出结果能切分到700多个维度。针对模型来说重要性并不是很高。可以考虑替代方案。差距不会非常大从实际角度来说并不是很重要。
# 国内知识库方案哪些底座比较好 # 国内知识库方案哪些底座比较好
`qWen` 和 gpt 做过对齐,然后 `14B`、`72B int4` 效果就比较好,虽然比较慢,针对中文语料还是比较好的。
另一个就是 `yi-34b` 也还行。
# RAG的发展方向 # RAG的发展方向