update
This commit is contained in:
mozzie
parent
92a7d900a9
commit
8feca18d2f
|
|
@ -197,7 +197,7 @@
|
|||
<span>RAG知识库召回率</span>
|
||||
</div>
|
||||
<p>通用的RAG方案的召回率不一定召回率越高越好，对于准确性也需要考虑，通用的召回率大概在70%，不论是dify还是fastgpt，对于生产场景，要求起码到90%的水平
|
||||
意图分类提问的内容很短、缩写的情况...</p>
|
||||
如何提升召回率数据预处理针对LLM...</p>
|
||||
</div>
|
||||
</a>
|
||||
</li>
|
||||
|
|
@ -347,6 +347,55 @@ typedef struct&#123;
|
|||
</a>
|
||||
</li>
|
||||
|
||||
<li>
|
||||
<a class="timeline-item" href="/posts/58551/">
|
||||
<div class="timeline-info">
|
||||
|
||||
<cosy-tooltip><span slot="content">完成</span><cosy-icon size="sm"><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" viewBox="0 0 24 24"><g fill="none" stroke="currentColor" stroke-width="2" stroke-linecap="round" stroke-linejoin="round"><circle cx="12" cy="12" r="9"></circle><path d="M9 12l2 2l4-4"></path></g></svg></cosy-icon></cosy-tooltip>
|
||||
|
||||
<span>03-15 14:44:57</span>
|
||||
</div>
|
||||
<div class="timeline-marker"></div>
|
||||
<div class="timeline-content">
|
||||
<div class="timeline-title ellipsis">
|
||||
|
||||
<span>短视频账号起号逻辑</span>
|
||||
</div>
|
||||
<p>抖音流量池
|
||||
|
||||
|
||||
级别
|
||||
曝光次数
|
||||
播放量范围
|
||||
|
||||
|
||||
|
||||
初级流量池
|
||||
冷启动
|
||||
0~500
|
||||
|
||||
|
||||
|
||||
二次曝光
|
||||
3K~5K
|
||||
|
||||
|
||||
|
||||
三次曝光
|
||||
1W~2W
|
||||
|
||||
|
||||
|
||||
四次曝光（人工复审）
|
||||
10W~15W
|
||||
|
||||
|
||||
中级流量池
|
||||
五...</p>
|
||||
</div>
|
||||
</a>
|
||||
</li>
|
||||
|
||||
<li>
|
||||
<a class="timeline-item" href="/posts/8323/">
|
||||
<div class="timeline-info">
|
||||
|
|
@ -467,55 +516,6 @@ typedef struct&#123;
|
|||
</a>
|
||||
</li>
|
||||
|
||||
<li>
|
||||
<a class="timeline-item" href="/posts/58551/">
|
||||
<div class="timeline-info">
|
||||
|
||||
<cosy-tooltip><span slot="content">完成</span><cosy-icon size="sm"><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" viewBox="0 0 24 24"><g fill="none" stroke="currentColor" stroke-width="2" stroke-linecap="round" stroke-linejoin="round"><circle cx="12" cy="12" r="9"></circle><path d="M9 12l2 2l4-4"></path></g></svg></cosy-icon></cosy-tooltip>
|
||||
|
||||
<span>03-15 14:44:57</span>
|
||||
</div>
|
||||
<div class="timeline-marker"></div>
|
||||
<div class="timeline-content">
|
||||
<div class="timeline-title ellipsis">
|
||||
|
||||
<span>短视频账号起号逻辑</span>
|
||||
</div>
|
||||
<p>抖音流量池
|
||||
|
||||
|
||||
级别
|
||||
曝光次数
|
||||
播放量范围
|
||||
|
||||
|
||||
|
||||
初级流量池
|
||||
冷启动
|
||||
0~500
|
||||
|
||||
|
||||
|
||||
二次曝光
|
||||
3K~5K
|
||||
|
||||
|
||||
|
||||
三次曝光
|
||||
1W~2W
|
||||
|
||||
|
||||
|
||||
四次曝光（人工复审）
|
||||
10W~15W
|
||||
|
||||
|
||||
中级流量池
|
||||
五...</p>
|
||||
</div>
|
||||
</a>
|
||||
</li>
|
||||
|
||||
<li>
|
||||
<a class="timeline-item" href="/posts/31204/">
|
||||
<div class="timeline-info">
|
||||
|
|
|
|||
|
|
@ -197,7 +197,7 @@
|
|||
<span>RAG知识库召回率</span>
|
||||
</div>
|
||||
<p>通用的RAG方案的召回率不一定召回率越高越好，对于准确性也需要考虑，通用的召回率大概在70%，不论是dify还是fastgpt，对于生产场景，要求起码到90%的水平
|
||||
意图分类提问的内容很短、缩写的情况...</p>
|
||||
如何提升召回率数据预处理针对LLM...</p>
|
||||
</div>
|
||||
</a>
|
||||
</li>
|
||||
|
|
@ -347,6 +347,55 @@ typedef struct&#123;
|
|||
</a>
|
||||
</li>
|
||||
|
||||
<li>
|
||||
<a class="timeline-item" href="/posts/58551/">
|
||||
<div class="timeline-info">
|
||||
|
||||
<cosy-tooltip><span slot="content">完成</span><cosy-icon size="sm"><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" viewBox="0 0 24 24"><g fill="none" stroke="currentColor" stroke-width="2" stroke-linecap="round" stroke-linejoin="round"><circle cx="12" cy="12" r="9"></circle><path d="M9 12l2 2l4-4"></path></g></svg></cosy-icon></cosy-tooltip>
|
||||
|
||||
<span>03-15 14:44:57</span>
|
||||
</div>
|
||||
<div class="timeline-marker"></div>
|
||||
<div class="timeline-content">
|
||||
<div class="timeline-title ellipsis">
|
||||
|
||||
<span>短视频账号起号逻辑</span>
|
||||
</div>
|
||||
<p>抖音流量池
|
||||
|
||||
|
||||
级别
|
||||
曝光次数
|
||||
播放量范围
|
||||
|
||||
|
||||
|
||||
初级流量池
|
||||
冷启动
|
||||
0~500
|
||||
|
||||
|
||||
|
||||
二次曝光
|
||||
3K~5K
|
||||
|
||||
|
||||
|
||||
三次曝光
|
||||
1W~2W
|
||||
|
||||
|
||||
|
||||
四次曝光（人工复审）
|
||||
10W~15W
|
||||
|
||||
|
||||
中级流量池
|
||||
五...</p>
|
||||
</div>
|
||||
</a>
|
||||
</li>
|
||||
|
||||
<li>
|
||||
<a class="timeline-item" href="/posts/8323/">
|
||||
<div class="timeline-info">
|
||||
|
|
@ -467,55 +516,6 @@ typedef struct&#123;
|
|||
</a>
|
||||
</li>
|
||||
|
||||
<li>
|
||||
<a class="timeline-item" href="/posts/58551/">
|
||||
<div class="timeline-info">
|
||||
|
||||
<cosy-tooltip><span slot="content">完成</span><cosy-icon size="sm"><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" viewBox="0 0 24 24"><g fill="none" stroke="currentColor" stroke-width="2" stroke-linecap="round" stroke-linejoin="round"><circle cx="12" cy="12" r="9"></circle><path d="M9 12l2 2l4-4"></path></g></svg></cosy-icon></cosy-tooltip>
|
||||
|
||||
<span>03-15 14:44:57</span>
|
||||
</div>
|
||||
<div class="timeline-marker"></div>
|
||||
<div class="timeline-content">
|
||||
<div class="timeline-title ellipsis">
|
||||
|
||||
<span>短视频账号起号逻辑</span>
|
||||
</div>
|
||||
<p>抖音流量池
|
||||
|
||||
|
||||
级别
|
||||
曝光次数
|
||||
播放量范围
|
||||
|
||||
|
||||
|
||||
初级流量池
|
||||
冷启动
|
||||
0~500
|
||||
|
||||
|
||||
|
||||
二次曝光
|
||||
3K~5K
|
||||
|
||||
|
||||
|
||||
三次曝光
|
||||
1W~2W
|
||||
|
||||
|
||||
|
||||
四次曝光（人工复审）
|
||||
10W~15W
|
||||
|
||||
|
||||
中级流量池
|
||||
五...</p>
|
||||
</div>
|
||||
</a>
|
||||
</li>
|
||||
|
||||
<li>
|
||||
<a class="timeline-item" href="/posts/31204/">
|
||||
<div class="timeline-info">
|
||||
|
|
|
|||
|
|
@ -197,7 +197,7 @@
|
|||
<span>RAG知识库召回率</span>
|
||||
</div>
|
||||
<p>通用的RAG方案的召回率不一定召回率越高越好，对于准确性也需要考虑，通用的召回率大概在70%，不论是dify还是fastgpt，对于生产场景，要求起码到90%的水平
|
||||
意图分类提问的内容很短、缩写的情况...</p>
|
||||
如何提升召回率数据预处理针对LLM...</p>
|
||||
</div>
|
||||
</a>
|
||||
</li>
|
||||
|
|
@ -347,6 +347,55 @@ typedef struct&#123;
|
|||
</a>
|
||||
</li>
|
||||
|
||||
<li>
|
||||
<a class="timeline-item" href="/posts/58551/">
|
||||
<div class="timeline-info">
|
||||
|
||||
<cosy-tooltip><span slot="content">完成</span><cosy-icon size="sm"><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" viewBox="0 0 24 24"><g fill="none" stroke="currentColor" stroke-width="2" stroke-linecap="round" stroke-linejoin="round"><circle cx="12" cy="12" r="9"></circle><path d="M9 12l2 2l4-4"></path></g></svg></cosy-icon></cosy-tooltip>
|
||||
|
||||
<span>03-15 14:44:57</span>
|
||||
</div>
|
||||
<div class="timeline-marker"></div>
|
||||
<div class="timeline-content">
|
||||
<div class="timeline-title ellipsis">
|
||||
|
||||
<span>短视频账号起号逻辑</span>
|
||||
</div>
|
||||
<p>抖音流量池
|
||||
|
||||
|
||||
级别
|
||||
曝光次数
|
||||
播放量范围
|
||||
|
||||
|
||||
|
||||
初级流量池
|
||||
冷启动
|
||||
0~500
|
||||
|
||||
|
||||
|
||||
二次曝光
|
||||
3K~5K
|
||||
|
||||
|
||||
|
||||
三次曝光
|
||||
1W~2W
|
||||
|
||||
|
||||
|
||||
四次曝光（人工复审）
|
||||
10W~15W
|
||||
|
||||
|
||||
中级流量池
|
||||
五...</p>
|
||||
</div>
|
||||
</a>
|
||||
</li>
|
||||
|
||||
<li>
|
||||
<a class="timeline-item" href="/posts/8323/">
|
||||
<div class="timeline-info">
|
||||
|
|
@ -467,55 +516,6 @@ typedef struct&#123;
|
|||
</a>
|
||||
</li>
|
||||
|
||||
<li>
|
||||
<a class="timeline-item" href="/posts/58551/">
|
||||
<div class="timeline-info">
|
||||
|
||||
<cosy-tooltip><span slot="content">完成</span><cosy-icon size="sm"><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" viewBox="0 0 24 24"><g fill="none" stroke="currentColor" stroke-width="2" stroke-linecap="round" stroke-linejoin="round"><circle cx="12" cy="12" r="9"></circle><path d="M9 12l2 2l4-4"></path></g></svg></cosy-icon></cosy-tooltip>
|
||||
|
||||
<span>03-15 14:44:57</span>
|
||||
</div>
|
||||
<div class="timeline-marker"></div>
|
||||
<div class="timeline-content">
|
||||
<div class="timeline-title ellipsis">
|
||||
|
||||
<span>短视频账号起号逻辑</span>
|
||||
</div>
|
||||
<p>抖音流量池
|
||||
|
||||
|
||||
级别
|
||||
曝光次数
|
||||
播放量范围
|
||||
|
||||
|
||||
|
||||
初级流量池
|
||||
冷启动
|
||||
0~500
|
||||
|
||||
|
||||
|
||||
二次曝光
|
||||
3K~5K
|
||||
|
||||
|
||||
|
||||
三次曝光
|
||||
1W~2W
|
||||
|
||||
|
||||
|
||||
四次曝光（人工复审）
|
||||
10W~15W
|
||||
|
||||
|
||||
中级流量池
|
||||
五...</p>
|
||||
</div>
|
||||
</a>
|
||||
</li>
|
||||
|
||||
<li>
|
||||
<a class="timeline-item" href="/posts/31204/">
|
||||
<div class="timeline-info">
|
||||
|
|
|
|||
|
|
@ -197,7 +197,7 @@
|
|||
<span>RAG知识库召回率</span>
|
||||
</div>
|
||||
<p>通用的RAG方案的召回率不一定召回率越高越好，对于准确性也需要考虑，通用的召回率大概在70%，不论是dify还是fastgpt，对于生产场景，要求起码到90%的水平
|
||||
意图分类提问的内容很短、缩写的情况...</p>
|
||||
如何提升召回率数据预处理针对LLM...</p>
|
||||
</div>
|
||||
</a>
|
||||
</li>
|
||||
|
|
@ -347,6 +347,55 @@ typedef struct&#123;
|
|||
</a>
|
||||
</li>
|
||||
|
||||
<li>
|
||||
<a class="timeline-item" href="/posts/58551/">
|
||||
<div class="timeline-info">
|
||||
|
||||
<cosy-tooltip><span slot="content">完成</span><cosy-icon size="sm"><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" viewBox="0 0 24 24"><g fill="none" stroke="currentColor" stroke-width="2" stroke-linecap="round" stroke-linejoin="round"><circle cx="12" cy="12" r="9"></circle><path d="M9 12l2 2l4-4"></path></g></svg></cosy-icon></cosy-tooltip>
|
||||
|
||||
<span>03-15 14:44:57</span>
|
||||
</div>
|
||||
<div class="timeline-marker"></div>
|
||||
<div class="timeline-content">
|
||||
<div class="timeline-title ellipsis">
|
||||
|
||||
<span>短视频账号起号逻辑</span>
|
||||
</div>
|
||||
<p>抖音流量池
|
||||
|
||||
|
||||
级别
|
||||
曝光次数
|
||||
播放量范围
|
||||
|
||||
|
||||
|
||||
初级流量池
|
||||
冷启动
|
||||
0~500
|
||||
|
||||
|
||||
|
||||
二次曝光
|
||||
3K~5K
|
||||
|
||||
|
||||
|
||||
三次曝光
|
||||
1W~2W
|
||||
|
||||
|
||||
|
||||
四次曝光（人工复审）
|
||||
10W~15W
|
||||
|
||||
|
||||
中级流量池
|
||||
五...</p>
|
||||
</div>
|
||||
</a>
|
||||
</li>
|
||||
|
||||
<li>
|
||||
<a class="timeline-item" href="/posts/8323/">
|
||||
<div class="timeline-info">
|
||||
|
|
@ -467,55 +516,6 @@ typedef struct&#123;
|
|||
</a>
|
||||
</li>
|
||||
|
||||
<li>
|
||||
<a class="timeline-item" href="/posts/58551/">
|
||||
<div class="timeline-info">
|
||||
|
||||
<cosy-tooltip><span slot="content">完成</span><cosy-icon size="sm"><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" viewBox="0 0 24 24"><g fill="none" stroke="currentColor" stroke-width="2" stroke-linecap="round" stroke-linejoin="round"><circle cx="12" cy="12" r="9"></circle><path d="M9 12l2 2l4-4"></path></g></svg></cosy-icon></cosy-tooltip>
|
||||
|
||||
<span>03-15 14:44:57</span>
|
||||
</div>
|
||||
<div class="timeline-marker"></div>
|
||||
<div class="timeline-content">
|
||||
<div class="timeline-title ellipsis">
|
||||
|
||||
<span>短视频账号起号逻辑</span>
|
||||
</div>
|
||||
<p>抖音流量池
|
||||
|
||||
|
||||
级别
|
||||
曝光次数
|
||||
播放量范围
|
||||
|
||||
|
||||
|
||||
初级流量池
|
||||
冷启动
|
||||
0~500
|
||||
|
||||
|
||||
|
||||
二次曝光
|
||||
3K~5K
|
||||
|
||||
|
||||
|
||||
三次曝光
|
||||
1W~2W
|
||||
|
||||
|
||||
|
||||
四次曝光（人工复审）
|
||||
10W~15W
|
||||
|
||||
|
||||
中级流量池
|
||||
五...</p>
|
||||
</div>
|
||||
</a>
|
||||
</li>
|
||||
|
||||
<li>
|
||||
<a class="timeline-item" href="/posts/31204/">
|
||||
<div class="timeline-info">
|
||||
|
|
|
|||
|
|
@ -197,7 +197,7 @@
|
|||
<span>RAG知识库召回率</span>
|
||||
</div>
|
||||
<p>通用的RAG方案的召回率不一定召回率越高越好，对于准确性也需要考虑，通用的召回率大概在70%，不论是dify还是fastgpt，对于生产场景，要求起码到90%的水平
|
||||
意图分类提问的内容很短、缩写的情况...</p>
|
||||
如何提升召回率数据预处理针对LLM...</p>
|
||||
</div>
|
||||
</a>
|
||||
</li>
|
||||
|
|
@ -347,6 +347,55 @@ typedef struct&#123;
|
|||
</a>
|
||||
</li>
|
||||
|
||||
<li>
|
||||
<a class="timeline-item" href="/posts/58551/">
|
||||
<div class="timeline-info">
|
||||
|
||||
<cosy-tooltip><span slot="content">完成</span><cosy-icon size="sm"><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" viewBox="0 0 24 24"><g fill="none" stroke="currentColor" stroke-width="2" stroke-linecap="round" stroke-linejoin="round"><circle cx="12" cy="12" r="9"></circle><path d="M9 12l2 2l4-4"></path></g></svg></cosy-icon></cosy-tooltip>
|
||||
|
||||
<span>03-15 14:44:57</span>
|
||||
</div>
|
||||
<div class="timeline-marker"></div>
|
||||
<div class="timeline-content">
|
||||
<div class="timeline-title ellipsis">
|
||||
|
||||
<span>短视频账号起号逻辑</span>
|
||||
</div>
|
||||
<p>抖音流量池
|
||||
|
||||
|
||||
级别
|
||||
曝光次数
|
||||
播放量范围
|
||||
|
||||
|
||||
|
||||
初级流量池
|
||||
冷启动
|
||||
0~500
|
||||
|
||||
|
||||
|
||||
二次曝光
|
||||
3K~5K
|
||||
|
||||
|
||||
|
||||
三次曝光
|
||||
1W~2W
|
||||
|
||||
|
||||
|
||||
四次曝光（人工复审）
|
||||
10W~15W
|
||||
|
||||
|
||||
中级流量池
|
||||
五...</p>
|
||||
</div>
|
||||
</a>
|
||||
</li>
|
||||
|
||||
<li>
|
||||
<a class="timeline-item" href="/posts/8323/">
|
||||
<div class="timeline-info">
|
||||
|
|
@ -467,55 +516,6 @@ typedef struct&#123;
|
|||
</a>
|
||||
</li>
|
||||
|
||||
<li>
|
||||
<a class="timeline-item" href="/posts/58551/">
|
||||
<div class="timeline-info">
|
||||
|
||||
<cosy-tooltip><span slot="content">完成</span><cosy-icon size="sm"><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" viewBox="0 0 24 24"><g fill="none" stroke="currentColor" stroke-width="2" stroke-linecap="round" stroke-linejoin="round"><circle cx="12" cy="12" r="9"></circle><path d="M9 12l2 2l4-4"></path></g></svg></cosy-icon></cosy-tooltip>
|
||||
|
||||
<span>03-15 14:44:57</span>
|
||||
</div>
|
||||
<div class="timeline-marker"></div>
|
||||
<div class="timeline-content">
|
||||
<div class="timeline-title ellipsis">
|
||||
|
||||
<span>短视频账号起号逻辑</span>
|
||||
</div>
|
||||
<p>抖音流量池
|
||||
|
||||
|
||||
级别
|
||||
曝光次数
|
||||
播放量范围
|
||||
|
||||
|
||||
|
||||
初级流量池
|
||||
冷启动
|
||||
0~500
|
||||
|
||||
|
||||
|
||||
二次曝光
|
||||
3K~5K
|
||||
|
||||
|
||||
|
||||
三次曝光
|
||||
1W~2W
|
||||
|
||||
|
||||
|
||||
四次曝光（人工复审）
|
||||
10W~15W
|
||||
|
||||
|
||||
中级流量池
|
||||
五...</p>
|
||||
</div>
|
||||
</a>
|
||||
</li>
|
||||
|
||||
<li>
|
||||
<a class="timeline-item" href="/posts/31204/">
|
||||
<div class="timeline-info">
|
||||
|
|
|
|||
|
|
@ -197,7 +197,7 @@
|
|||
<span>RAG知识库召回率</span>
|
||||
</div>
|
||||
<p>通用的RAG方案的召回率不一定召回率越高越好，对于准确性也需要考虑，通用的召回率大概在70%，不论是dify还是fastgpt，对于生产场景，要求起码到90%的水平
|
||||
意图分类提问的内容很短、缩写的情况...</p>
|
||||
如何提升召回率数据预处理针对LLM...</p>
|
||||
</div>
|
||||
</a>
|
||||
</li>
|
||||
|
|
@ -347,6 +347,55 @@ typedef struct&#123;
|
|||
</a>
|
||||
</li>
|
||||
|
||||
<li>
|
||||
<a class="timeline-item" href="/posts/58551/">
|
||||
<div class="timeline-info">
|
||||
|
||||
<cosy-tooltip><span slot="content">完成</span><cosy-icon size="sm"><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" viewBox="0 0 24 24"><g fill="none" stroke="currentColor" stroke-width="2" stroke-linecap="round" stroke-linejoin="round"><circle cx="12" cy="12" r="9"></circle><path d="M9 12l2 2l4-4"></path></g></svg></cosy-icon></cosy-tooltip>
|
||||
|
||||
<span>03-15 14:44:57</span>
|
||||
</div>
|
||||
<div class="timeline-marker"></div>
|
||||
<div class="timeline-content">
|
||||
<div class="timeline-title ellipsis">
|
||||
|
||||
<span>短视频账号起号逻辑</span>
|
||||
</div>
|
||||
<p>抖音流量池
|
||||
|
||||
|
||||
级别
|
||||
曝光次数
|
||||
播放量范围
|
||||
|
||||
|
||||
|
||||
初级流量池
|
||||
冷启动
|
||||
0~500
|
||||
|
||||
|
||||
|
||||
二次曝光
|
||||
3K~5K
|
||||
|
||||
|
||||
|
||||
三次曝光
|
||||
1W~2W
|
||||
|
||||
|
||||
|
||||
四次曝光（人工复审）
|
||||
10W~15W
|
||||
|
||||
|
||||
中级流量池
|
||||
五...</p>
|
||||
</div>
|
||||
</a>
|
||||
</li>
|
||||
|
||||
<li>
|
||||
<a class="timeline-item" href="/posts/8323/">
|
||||
<div class="timeline-info">
|
||||
|
|
@ -467,55 +516,6 @@ typedef struct&#123;
|
|||
</a>
|
||||
</li>
|
||||
|
||||
<li>
|
||||
<a class="timeline-item" href="/posts/58551/">
|
||||
<div class="timeline-info">
|
||||
|
||||
<cosy-tooltip><span slot="content">完成</span><cosy-icon size="sm"><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" viewBox="0 0 24 24"><g fill="none" stroke="currentColor" stroke-width="2" stroke-linecap="round" stroke-linejoin="round"><circle cx="12" cy="12" r="9"></circle><path d="M9 12l2 2l4-4"></path></g></svg></cosy-icon></cosy-tooltip>
|
||||
|
||||
<span>03-15 14:44:57</span>
|
||||
</div>
|
||||
<div class="timeline-marker"></div>
|
||||
<div class="timeline-content">
|
||||
<div class="timeline-title ellipsis">
|
||||
|
||||
<span>短视频账号起号逻辑</span>
|
||||
</div>
|
||||
<p>抖音流量池
|
||||
|
||||
|
||||
级别
|
||||
曝光次数
|
||||
播放量范围
|
||||
|
||||
|
||||
|
||||
初级流量池
|
||||
冷启动
|
||||
0~500
|
||||
|
||||
|
||||
|
||||
二次曝光
|
||||
3K~5K
|
||||
|
||||
|
||||
|
||||
三次曝光
|
||||
1W~2W
|
||||
|
||||
|
||||
|
||||
四次曝光（人工复审）
|
||||
10W~15W
|
||||
|
||||
|
||||
中级流量池
|
||||
五...</p>
|
||||
</div>
|
||||
</a>
|
||||
</li>
|
||||
|
||||
<li>
|
||||
<a class="timeline-item" href="/posts/31204/">
|
||||
<div class="timeline-info">
|
||||
|
|
|
|||
|
|
@ -197,7 +197,7 @@
|
|||
<span>RAG知识库召回率</span>
|
||||
</div>
|
||||
<p>通用的RAG方案的召回率不一定召回率越高越好，对于准确性也需要考虑，通用的召回率大概在70%，不论是dify还是fastgpt，对于生产场景，要求起码到90%的水平
|
||||
意图分类提问的内容很短、缩写的情况...</p>
|
||||
如何提升召回率数据预处理针对LLM...</p>
|
||||
</div>
|
||||
</a>
|
||||
</li>
|
||||
|
|
@ -347,6 +347,55 @@ typedef struct&#123;
|
|||
</a>
|
||||
</li>
|
||||
|
||||
<li>
|
||||
<a class="timeline-item" href="/posts/58551/">
|
||||
<div class="timeline-info">
|
||||
|
||||
<cosy-tooltip><span slot="content">完成</span><cosy-icon size="sm"><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" viewBox="0 0 24 24"><g fill="none" stroke="currentColor" stroke-width="2" stroke-linecap="round" stroke-linejoin="round"><circle cx="12" cy="12" r="9"></circle><path d="M9 12l2 2l4-4"></path></g></svg></cosy-icon></cosy-tooltip>
|
||||
|
||||
<span>03-15 14:44:57</span>
|
||||
</div>
|
||||
<div class="timeline-marker"></div>
|
||||
<div class="timeline-content">
|
||||
<div class="timeline-title ellipsis">
|
||||
|
||||
<span>短视频账号起号逻辑</span>
|
||||
</div>
|
||||
<p>抖音流量池
|
||||
|
||||
|
||||
级别
|
||||
曝光次数
|
||||
播放量范围
|
||||
|
||||
|
||||
|
||||
初级流量池
|
||||
冷启动
|
||||
0~500
|
||||
|
||||
|
||||
|
||||
二次曝光
|
||||
3K~5K
|
||||
|
||||
|
||||
|
||||
三次曝光
|
||||
1W~2W
|
||||
|
||||
|
||||
|
||||
四次曝光（人工复审）
|
||||
10W~15W
|
||||
|
||||
|
||||
中级流量池
|
||||
五...</p>
|
||||
</div>
|
||||
</a>
|
||||
</li>
|
||||
|
||||
<li>
|
||||
<a class="timeline-item" href="/posts/8323/">
|
||||
<div class="timeline-info">
|
||||
|
|
@ -467,55 +516,6 @@ typedef struct&#123;
|
|||
</a>
|
||||
</li>
|
||||
|
||||
<li>
|
||||
<a class="timeline-item" href="/posts/58551/">
|
||||
<div class="timeline-info">
|
||||
|
||||
<cosy-tooltip><span slot="content">完成</span><cosy-icon size="sm"><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" viewBox="0 0 24 24"><g fill="none" stroke="currentColor" stroke-width="2" stroke-linecap="round" stroke-linejoin="round"><circle cx="12" cy="12" r="9"></circle><path d="M9 12l2 2l4-4"></path></g></svg></cosy-icon></cosy-tooltip>
|
||||
|
||||
<span>03-15 14:44:57</span>
|
||||
</div>
|
||||
<div class="timeline-marker"></div>
|
||||
<div class="timeline-content">
|
||||
<div class="timeline-title ellipsis">
|
||||
|
||||
<span>短视频账号起号逻辑</span>
|
||||
</div>
|
||||
<p>抖音流量池
|
||||
|
||||
|
||||
级别
|
||||
曝光次数
|
||||
播放量范围
|
||||
|
||||
|
||||
|
||||
初级流量池
|
||||
冷启动
|
||||
0~500
|
||||
|
||||
|
||||
|
||||
二次曝光
|
||||
3K~5K
|
||||
|
||||
|
||||
|
||||
三次曝光
|
||||
1W~2W
|
||||
|
||||
|
||||
|
||||
四次曝光（人工复审）
|
||||
10W~15W
|
||||
|
||||
|
||||
中级流量池
|
||||
五...</p>
|
||||
</div>
|
||||
</a>
|
||||
</li>
|
||||
|
||||
<li>
|
||||
<a class="timeline-item" href="/posts/31204/">
|
||||
<div class="timeline-info">
|
||||
|
|
|
|||
|
|
@ -197,7 +197,7 @@
|
|||
<span>RAG知识库召回率</span>
|
||||
</div>
|
||||
<p>通用的RAG方案的召回率不一定召回率越高越好，对于准确性也需要考虑，通用的召回率大概在70%，不论是dify还是fastgpt，对于生产场景，要求起码到90%的水平
|
||||
意图分类提问的内容很短、缩写的情况...</p>
|
||||
如何提升召回率数据预处理针对LLM...</p>
|
||||
</div>
|
||||
</a>
|
||||
</li>
|
||||
|
|
@ -347,6 +347,55 @@ typedef struct&#123;
|
|||
</a>
|
||||
</li>
|
||||
|
||||
<li>
|
||||
<a class="timeline-item" href="/posts/58551/">
|
||||
<div class="timeline-info">
|
||||
|
||||
<cosy-tooltip><span slot="content">完成</span><cosy-icon size="sm"><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" viewBox="0 0 24 24"><g fill="none" stroke="currentColor" stroke-width="2" stroke-linecap="round" stroke-linejoin="round"><circle cx="12" cy="12" r="9"></circle><path d="M9 12l2 2l4-4"></path></g></svg></cosy-icon></cosy-tooltip>
|
||||
|
||||
<span>03-15 14:44:57</span>
|
||||
</div>
|
||||
<div class="timeline-marker"></div>
|
||||
<div class="timeline-content">
|
||||
<div class="timeline-title ellipsis">
|
||||
|
||||
<span>短视频账号起号逻辑</span>
|
||||
</div>
|
||||
<p>抖音流量池
|
||||
|
||||
|
||||
级别
|
||||
曝光次数
|
||||
播放量范围
|
||||
|
||||
|
||||
|
||||
初级流量池
|
||||
冷启动
|
||||
0~500
|
||||
|
||||
|
||||
|
||||
二次曝光
|
||||
3K~5K
|
||||
|
||||
|
||||
|
||||
三次曝光
|
||||
1W~2W
|
||||
|
||||
|
||||
|
||||
四次曝光（人工复审）
|
||||
10W~15W
|
||||
|
||||
|
||||
中级流量池
|
||||
五...</p>
|
||||
</div>
|
||||
</a>
|
||||
</li>
|
||||
|
||||
<li>
|
||||
<a class="timeline-item" href="/posts/8323/">
|
||||
<div class="timeline-info">
|
||||
|
|
@ -467,55 +516,6 @@ typedef struct&#123;
|
|||
</a>
|
||||
</li>
|
||||
|
||||
<li>
|
||||
<a class="timeline-item" href="/posts/58551/">
|
||||
<div class="timeline-info">
|
||||
|
||||
<cosy-tooltip><span slot="content">完成</span><cosy-icon size="sm"><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" viewBox="0 0 24 24"><g fill="none" stroke="currentColor" stroke-width="2" stroke-linecap="round" stroke-linejoin="round"><circle cx="12" cy="12" r="9"></circle><path d="M9 12l2 2l4-4"></path></g></svg></cosy-icon></cosy-tooltip>
|
||||
|
||||
<span>03-15 14:44:57</span>
|
||||
</div>
|
||||
<div class="timeline-marker"></div>
|
||||
<div class="timeline-content">
|
||||
<div class="timeline-title ellipsis">
|
||||
|
||||
<span>短视频账号起号逻辑</span>
|
||||
</div>
|
||||
<p>抖音流量池
|
||||
|
||||
|
||||
级别
|
||||
曝光次数
|
||||
播放量范围
|
||||
|
||||
|
||||
|
||||
初级流量池
|
||||
冷启动
|
||||
0~500
|
||||
|
||||
|
||||
|
||||
二次曝光
|
||||
3K~5K
|
||||
|
||||
|
||||
|
||||
三次曝光
|
||||
1W~2W
|
||||
|
||||
|
||||
|
||||
四次曝光（人工复审）
|
||||
10W~15W
|
||||
|
||||
|
||||
中级流量池
|
||||
五...</p>
|
||||
</div>
|
||||
</a>
|
||||
</li>
|
||||
|
||||
<li>
|
||||
<a class="timeline-item" href="/posts/31204/">
|
||||
<div class="timeline-info">
|
||||
|
|
|
|||
|
|
@ -197,7 +197,7 @@
|
|||
<span>RAG知识库召回率</span>
|
||||
</div>
|
||||
<p>通用的RAG方案的召回率不一定召回率越高越好，对于准确性也需要考虑，通用的召回率大概在70%，不论是dify还是fastgpt，对于生产场景，要求起码到90%的水平
|
||||
意图分类提问的内容很短、缩写的情况...</p>
|
||||
如何提升召回率数据预处理针对LLM...</p>
|
||||
</div>
|
||||
</a>
|
||||
</li>
|
||||
|
|
@ -347,6 +347,55 @@ typedef struct&#123;
|
|||
</a>
|
||||
</li>
|
||||
|
||||
<li>
|
||||
<a class="timeline-item" href="/posts/58551/">
|
||||
<div class="timeline-info">
|
||||
|
||||
<cosy-tooltip><span slot="content">完成</span><cosy-icon size="sm"><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" viewBox="0 0 24 24"><g fill="none" stroke="currentColor" stroke-width="2" stroke-linecap="round" stroke-linejoin="round"><circle cx="12" cy="12" r="9"></circle><path d="M9 12l2 2l4-4"></path></g></svg></cosy-icon></cosy-tooltip>
|
||||
|
||||
<span>03-15 14:44:57</span>
|
||||
</div>
|
||||
<div class="timeline-marker"></div>
|
||||
<div class="timeline-content">
|
||||
<div class="timeline-title ellipsis">
|
||||
|
||||
<span>短视频账号起号逻辑</span>
|
||||
</div>
|
||||
<p>抖音流量池
|
||||
|
||||
|
||||
级别
|
||||
曝光次数
|
||||
播放量范围
|
||||
|
||||
|
||||
|
||||
初级流量池
|
||||
冷启动
|
||||
0~500
|
||||
|
||||
|
||||
|
||||
二次曝光
|
||||
3K~5K
|
||||
|
||||
|
||||
|
||||
三次曝光
|
||||
1W~2W
|
||||
|
||||
|
||||
|
||||
四次曝光（人工复审）
|
||||
10W~15W
|
||||
|
||||
|
||||
中级流量池
|
||||
五...</p>
|
||||
</div>
|
||||
</a>
|
||||
</li>
|
||||
|
||||
<li>
|
||||
<a class="timeline-item" href="/posts/8323/">
|
||||
<div class="timeline-info">
|
||||
|
|
@ -467,55 +516,6 @@ typedef struct&#123;
|
|||
</a>
|
||||
</li>
|
||||
|
||||
<li>
|
||||
<a class="timeline-item" href="/posts/58551/">
|
||||
<div class="timeline-info">
|
||||
|
||||
<cosy-tooltip><span slot="content">完成</span><cosy-icon size="sm"><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" viewBox="0 0 24 24"><g fill="none" stroke="currentColor" stroke-width="2" stroke-linecap="round" stroke-linejoin="round"><circle cx="12" cy="12" r="9"></circle><path d="M9 12l2 2l4-4"></path></g></svg></cosy-icon></cosy-tooltip>
|
||||
|
||||
<span>03-15 14:44:57</span>
|
||||
</div>
|
||||
<div class="timeline-marker"></div>
|
||||
<div class="timeline-content">
|
||||
<div class="timeline-title ellipsis">
|
||||
|
||||
<span>短视频账号起号逻辑</span>
|
||||
</div>
|
||||
<p>抖音流量池
|
||||
|
||||
|
||||
级别
|
||||
曝光次数
|
||||
播放量范围
|
||||
|
||||
|
||||
|
||||
初级流量池
|
||||
冷启动
|
||||
0~500
|
||||
|
||||
|
||||
|
||||
二次曝光
|
||||
3K~5K
|
||||
|
||||
|
||||
|
||||
三次曝光
|
||||
1W~2W
|
||||
|
||||
|
||||
|
||||
四次曝光（人工复审）
|
||||
10W~15W
|
||||
|
||||
|
||||
中级流量池
|
||||
五...</p>
|
||||
</div>
|
||||
</a>
|
||||
</li>
|
||||
|
||||
<li>
|
||||
<a class="timeline-item" href="/posts/31204/">
|
||||
<div class="timeline-info">
|
||||
|
|
|
|||
|
|
@ -228,7 +228,7 @@
|
|||
<!-- 文章标题 -->
|
||||
<h1 class="post-title"></h1>
|
||||
<div class="last-updated">
|
||||
上次更新: 2024-03-28 12:11:08
|
||||
上次更新: 2024-03-28 12:32:07
|
||||
</div>
|
||||
<!-- 文章 -->
|
||||
<h1 id="stdio-h"><a href="#stdio-h" class="headerlink" title="stdio.h"></a>stdio.h</h1><table>
|
||||
|
|
|
|||
|
|
@ -248,24 +248,25 @@
|
|||
<!-- 文章标题 -->
|
||||
<h1 class="post-title">RAG知识库召回率</h1>
|
||||
<div class="last-updated">
|
||||
上次更新: 2024-03-28 12:31:56
|
||||
上次更新: 2024-03-28 12:58:29
|
||||
</div>
|
||||
<!-- 文章 -->
|
||||
<h1 id="通用的RAG方案的召回率"><a href="#通用的RAG方案的召回率" class="headerlink" title="通用的RAG方案的召回率"></a>通用的RAG方案的召回率</h1><p>不一定召回率越高越好，对于准确性也需要考虑，通用的召回率大概在<code>70%</code>，不论是<code>dify</code>还是<code>fastgpt</code>，对于生产场景，要求起码到<code>90%</code>的水平</p>
|
||||
<h2 id="意图分类"><a href="#意图分类" class="headerlink" title="意图分类"></a>意图分类</h2><p>提问的内容很短、缩写的情况，如何命中用户的真实意图。这一步可以做一个缓存库当中，直接命中返回结构就行，不需要走<code>LLM</code></p>
|
||||
<p>针对<code>QA</code>，类似 <code>xxx企业的董事长是谁</code>，答案是必须正确的，上一代的客服系统必备。直接数据级别的匹配就行,召回一般都是比较准确的。</p>
|
||||
<p>针对某些场景例如<code>2021年的xxxx</code>，同样的<code>2022年的xxxx</code>也发生了，使用<code>embedding</code>容易给错误召回的，而<code>ES</code>的效果会更好。相当于通过从用户的问题中，捕捉关键词，然后通过这些<code>关键词</code>去库里召回。这样的<code>关键词</code>，可以不断的积累<code>字典</code>,针对关键词给解释。例如：</p>
|
||||
<p>某个提问<code>什么是RAG</code>，首先<code>RAG</code>对应的解释是：<code>增强向量检索的知识库</code>，那对应又引入的新的<code>关键词</code>，继续递归对新的<code>关键词</code>给出解释，通常迭代个<code>2-5轮</code>，就会有非常好的召回效果。字典里面通常会定义：同义词、类别、上下关系。私用飞书的话，内部标准自带一个<code>词典</code>应用，统一的业务领域的知识、语言体系。并且提供<code>api</code>从词典中提取关键字。直接通过关键字，把词条的内容读取出来。文本提取<code>关键词</code>也有很多开源模型能够提取，但是针对某些专业领域，一些开源不一定具备这样的提取能力。</p>
|
||||
<h1 id="如何提升召回率"><a href="#如何提升召回率" class="headerlink" title="如何提升召回率"></a>如何提升召回率</h1><h2 id="数据预处理"><a href="#数据预处理" class="headerlink" title="数据预处理"></a>数据预处理</h2><p>针对<code>LLM</code>模型来说，数据治理变的很重要，在数据切分的过程中，需要符合人的逻辑去<code>分词</code>。按照人的逻辑，例如：表格、章节、目录……</p>
|
||||
<h3 id="分词-chunk"><a href="#分词-chunk" class="headerlink" title="分词 chunk"></a>分词 chunk</h3><p><code>chunk</code>的<code>size</code>越大，召回越少。但是分的越精细，同样会损失上下文连贯性</p>
|
||||
<h1 id="意图分类"><a href="#意图分类" class="headerlink" title="意图分类"></a>意图分类</h1><p>用户提问的内容，很短、缩写的情况，如何命中用户的<code>真实意图</code>。</p>
|
||||
<h2 id="缓存库"><a href="#缓存库" class="headerlink" title="缓存库"></a>缓存库</h2><p>可以做一个缓存库，直接命中返回结构就行，不需要走<code>LLM</code></p>
|
||||
<h2 id="QA"><a href="#QA" class="headerlink" title="QA"></a>QA</h2><p>处理成<code>QA</code>的格式，类似 <code>xxx企业的董事长是谁</code>，答案是必须正确的，上一代的客服系统必备。直接数据级别的匹配就行,召回一般都是比较准确的。</p>
|
||||
<h2 id="关键词-词典-迭代"><a href="#关键词-词典-迭代" class="headerlink" title="关键词+词典+迭代"></a>关键词+词典+迭代</h2><p>成本非常低，可控。思路是帮用户模糊，先提取关键词，再结合词典的词条解释，让表达更加的领域话、专业化，再扔给大语言模型。</p>
|
||||
<p>例如：某个提问<code>什么是RAG</code>，首先<code>RAG</code>对应的解释是：<code>增强向量检索的知识库</code>，那对应又引入的新的<code>关键词</code>，继续递归对新的<code>关键词</code>给出解释，通常迭代个<code>2-5轮</code>，就会有非常好的召回效果。字典里面通常会定义：同义词、类别、上下关系。私用飞书的话，内部标准自带一个<code>词典</code>应用，统一的业务领域的知识、语言体系。并且提供<code>api</code>从词典中提取关键字。直接通过关键字，把词条的内容读取出来。文本提取<code>关键词</code>也有很多开源模型能够提取，但是针对某些专业领域，一些开源不一定具备这样的提取能力。</p>
|
||||
<p>针对某些场景例如<code>2021年的xxxx</code>，同样的<code>2022年的xxxx</code>也发生了，使用<code>embedding</code>容易给错误召回的，而<code>ES</code>的效果会更好。相当于通过从用户的问题中，捕捉关键词，然后通过这些<code>关键词</code>去库里召回。这样的<code>关键词</code>，可以不断的积累<code>字典</code>,针对关键词给解释。</p>
|
||||
<p>但是针对有日期、数字类的一般效果会非常不好，可以考虑采用<code>nl2sql</code>的方案，使用<code>fine-tuning</code>，能够做到召回率<code>90%</code>，有专门的模型针对这块，例如微软的<code>RAT-SQL</code>模型。</p>
|
||||
<p>针对<code>excel</code>类型的文件，直接把数据存到一张<code>宽表</code>中，不要跨表，降低复杂度。针对<code>nl2sql</code>的开源模型的能力基本都是<code>单表</code>，基本可以达到预期</p>
|
||||
<p>针对<code>LLM</code>模型来说，数据治理变的很重要，在数据切分的过程中，需要符合人的逻辑去<code>分词</code>。按照人的逻辑，例如：表格、章节、目录……</p>
|
||||
<h2 id="分词"><a href="#分词" class="headerlink" title="分词"></a>分词</h2><p><code>chunk</code>的<code>size</code>越大，召回越少</p>
|
||||
<h2 id="embedding"><a href="#embedding" class="headerlink" title="embedding"></a>embedding</h2><p><code>embedding方案</code>可以考虑引入<code>link memory</code>，可以提高<code>10%-20%</code>，在医疗文献领域，根据参考材料写综述是非常专业的。</p>
|
||||
<ul>
|
||||
<li>文档切分是浅层信息，类似chatPDF，数据中加入了总结、归纳的内容</li>
|
||||
<li>大模型生成摘要，总结上下文，再进行检索。</li>
|
||||
</ul>
|
||||
<h1 id="如何提升召回率"><a href="#如何提升召回率" class="headerlink" title="如何提升召回率"></a>如何提升召回率</h1><h1 id="embedding哪个算法好"><a href="#embedding哪个算法好" class="headerlink" title="embedding哪个算法好"></a>embedding哪个算法好</h1><h1 id="国内知识库方案哪些底座比较好"><a href="#国内知识库方案哪些底座比较好" class="headerlink" title="国内知识库方案哪些底座比较好"></a>国内知识库方案哪些底座比较好</h1><h1 id="RAG的发展方向"><a href="#RAG的发展方向" class="headerlink" title="RAG的发展方向"></a>RAG的发展方向</h1>
|
||||
<h2 id="知识图谱"><a href="#知识图谱" class="headerlink" title="知识图谱"></a>知识图谱</h2><p>难点在于构建知识图谱，例如<code>dify</code>在针对某些回答不满意的情况，可以对回复进行修正。这样的话会让下次回答更加可控</p>
|
||||
<h1 id="embedding哪个算法好"><a href="#embedding哪个算法好" class="headerlink" title="embedding哪个算法好"></a>embedding哪个算法好</h1><p>目前openai的最好，能够输入1536个输入，输出结果能切分到700多个维度。针对模型来说，重要性并不是很高。可以考虑替代方案。差距不会非常大，从实际角度来说，并不是很重要。</p>
|
||||
<h1 id="国内知识库方案哪些底座比较好"><a href="#国内知识库方案哪些底座比较好" class="headerlink" title="国内知识库方案哪些底座比较好"></a>国内知识库方案哪些底座比较好</h1><p><code>qWen</code> 和 gpt 做过对齐，然后 <code>14B</code>、<code>72B int4</code> 效果就比较好，虽然比较慢，针对中文语料还是比较好的。</p>
|
||||
<p>另一个就是 <code>yi-34b</code> 也还行。</p>
|
||||
<h1 id="RAG的发展方向"><a href="#RAG的发展方向" class="headerlink" title="RAG的发展方向"></a>RAG的发展方向</h1>
|
||||
<div class="post-tags">
|
||||
<!-- 文章tags -->
|
||||
|
||||
|
|
@ -292,7 +293,7 @@
|
|||
<span>目录</span>
|
||||
</p>
|
||||
<!-- 文章toc -->
|
||||
<ol class="toc"><li class="toc-item toc-level-1"><a class="toc-link" href="#%E9%80%9A%E7%94%A8%E7%9A%84RAG%E6%96%B9%E6%A1%88%E7%9A%84%E5%8F%AC%E5%9B%9E%E7%8E%87"><span class="toc-number">1.</span> <span class="toc-text">通用的RAG方案的召回率</span></a><ol class="toc-child"><li class="toc-item toc-level-2"><a class="toc-link" href="#%E6%84%8F%E5%9B%BE%E5%88%86%E7%B1%BB"><span class="toc-number">1.1.</span> <span class="toc-text">意图分类</span></a></li><li class="toc-item toc-level-2"><a class="toc-link" href="#%E5%88%86%E8%AF%8D"><span class="toc-number">1.2.</span> <span class="toc-text">分词</span></a></li><li class="toc-item toc-level-2"><a class="toc-link" href="#embedding"><span class="toc-number">1.3.</span> <span class="toc-text">embedding</span></a></li></ol></li><li class="toc-item toc-level-1"><a class="toc-link" href="#%E5%A6%82%E4%BD%95%E6%8F%90%E5%8D%87%E5%8F%AC%E5%9B%9E%E7%8E%87"><span class="toc-number">2.</span> <span class="toc-text">如何提升召回率</span></a></li><li class="toc-item toc-level-1"><a class="toc-link" href="#embedding%E5%93%AA%E4%B8%AA%E7%AE%97%E6%B3%95%E5%A5%BD"><span class="toc-number">3.</span> <span class="toc-text">embedding哪个算法好</span></a></li><li class="toc-item toc-level-1"><a class="toc-link" href="#%E5%9B%BD%E5%86%85%E7%9F%A5%E8%AF%86%E5%BA%93%E6%96%B9%E6%A1%88%E5%93%AA%E4%BA%9B%E5%BA%95%E5%BA%A7%E6%AF%94%E8%BE%83%E5%A5%BD"><span class="toc-number">4.</span> <span class="toc-text">国内知识库方案哪些底座比较好</span></a></li><li class="toc-item toc-level-1"><a class="toc-link" href="#RAG%E7%9A%84%E5%8F%91%E5%B1%95%E6%96%B9%E5%90%91"><span class="toc-number">5.</span> <span class="toc-text">RAG的发展方向</span></a></li></ol>
|
||||
<ol class="toc"><li class="toc-item toc-level-1"><a class="toc-link" href="#%E9%80%9A%E7%94%A8%E7%9A%84RAG%E6%96%B9%E6%A1%88%E7%9A%84%E5%8F%AC%E5%9B%9E%E7%8E%87"><span class="toc-number">1.</span> <span class="toc-text">通用的RAG方案的召回率</span></a></li><li class="toc-item toc-level-1"><a class="toc-link" href="#%E5%A6%82%E4%BD%95%E6%8F%90%E5%8D%87%E5%8F%AC%E5%9B%9E%E7%8E%87"><span class="toc-number">2.</span> <span class="toc-text">如何提升召回率</span></a><ol class="toc-child"><li class="toc-item toc-level-2"><a class="toc-link" href="#%E6%95%B0%E6%8D%AE%E9%A2%84%E5%A4%84%E7%90%86"><span class="toc-number">2.1.</span> <span class="toc-text">数据预处理</span></a><ol class="toc-child"><li class="toc-item toc-level-3"><a class="toc-link" href="#%E5%88%86%E8%AF%8D-chunk"><span class="toc-number">2.1.1.</span> <span class="toc-text">分词 chunk</span></a></li></ol></li></ol></li><li class="toc-item toc-level-1"><a class="toc-link" href="#%E6%84%8F%E5%9B%BE%E5%88%86%E7%B1%BB"><span class="toc-number">3.</span> <span class="toc-text">意图分类</span></a><ol class="toc-child"><li class="toc-item toc-level-2"><a class="toc-link" href="#%E7%BC%93%E5%AD%98%E5%BA%93"><span class="toc-number">3.1.</span> <span class="toc-text">缓存库</span></a></li><li class="toc-item toc-level-2"><a class="toc-link" href="#QA"><span class="toc-number">3.2.</span> <span class="toc-text">QA</span></a></li><li class="toc-item toc-level-2"><a class="toc-link" href="#%E5%85%B3%E9%94%AE%E8%AF%8D-%E8%AF%8D%E5%85%B8-%E8%BF%AD%E4%BB%A3"><span class="toc-number">3.3.</span> <span class="toc-text">关键词+词典+迭代</span></a></li><li class="toc-item toc-level-2"><a class="toc-link" href="#%E7%9F%A5%E8%AF%86%E5%9B%BE%E8%B0%B1"><span class="toc-number">3.4.</span> <span class="toc-text">知识图谱</span></a></li></ol></li><li class="toc-item toc-level-1"><a class="toc-link" href="#embedding%E5%93%AA%E4%B8%AA%E7%AE%97%E6%B3%95%E5%A5%BD"><span class="toc-number">4.</span> <span class="toc-text">embedding哪个算法好</span></a></li><li class="toc-item toc-level-1"><a class="toc-link" href="#%E5%9B%BD%E5%86%85%E7%9F%A5%E8%AF%86%E5%BA%93%E6%96%B9%E6%A1%88%E5%93%AA%E4%BA%9B%E5%BA%95%E5%BA%A7%E6%AF%94%E8%BE%83%E5%A5%BD"><span class="toc-number">5.</span> <span class="toc-text">国内知识库方案哪些底座比较好</span></a></li><li class="toc-item toc-level-1"><a class="toc-link" href="#RAG%E7%9A%84%E5%8F%91%E5%B1%95%E6%96%B9%E5%90%91"><span class="toc-number">6.</span> <span class="toc-text">RAG的发展方向</span></a></li></ol>
|
||||
</div>
|
||||
</div>
|
||||
</cosy-drag-box>
|
||||
|
|
|
|||
|
|
@ -273,7 +273,7 @@
|
|||
<p><a target="_blank" rel="noopener" href="https://baidu.com/">https://baidu.com</a></p>
|
||||
<p><a target="_blank" rel="noopener" href="http://www.this-anchor-link.com/">锚点链接</a> </p>
|
||||
<p><a href="mailto:test.test@gmail.com">mailto:test.test@gmail.com</a></p>
|
||||
<p>GFM a-tail link <a target="_blank" rel="noopener" href="https://my.oschina.net/u/3691274">@pandao</a> 邮箱地址自动链接 <a href="mailto:test.test@gmail.com">test.test@gmail.com</a> <a href="mailto:www@vip.qq.com">www@vip.qq.com</a></p>
|
||||
<p>GFM a-tail link <a target="_blank" rel="noopener" href="https://my.oschina.net/u/3691274">@pandao</a> 邮箱地址自动链接 <a href="mailto:test.test@gmail.com">test.test@gmail.com</a> <a href="mailto:www@vip.qq.com">www@vip.qq.com</a></p>
|
||||
<blockquote>
|
||||
<p>@pandao</p>
|
||||
</blockquote>
|
||||
|
|
|
|||
|
|
@ -10,42 +10,55 @@ abbrlink: 21037
|
|||
|
||||
不一定召回率越高越好，对于准确性也需要考虑，通用的召回率大概在`70%`，不论是`dify`还是`fastgpt`，对于生产场景，要求起码到`90%`的水平
|
||||
|
||||
## 意图分类
|
||||
|
||||
提问的内容很短、缩写的情况，如何命中用户的真实意图。这一步可以做一个缓存库当中，直接命中返回结构就行，不需要走`LLM`
|
||||
# 如何提升召回率
|
||||
|
||||
针对`QA`，类似 `xxx企业的董事长是谁`，答案是必须正确的，上一代的客服系统必备。直接数据级别的匹配就行,召回一般都是比较准确的。
|
||||
## 数据预处理
|
||||
|
||||
针对某些场景例如`2021年的xxxx`，同样的`2022年的xxxx`也发生了，使用`embedding`容易给错误召回的，而`ES`的效果会更好。相当于通过从用户的问题中，捕捉关键词，然后通过这些`关键词`去库里召回。这样的`关键词`，可以不断的积累`字典`,针对关键词给解释。例如：
|
||||
针对`LLM`模型来说，数据治理变的很重要，在数据切分的过程中，需要符合人的逻辑去`分词`。按照人的逻辑，例如：表格、章节、目录……
|
||||
|
||||
某个提问`什么是RAG`，首先`RAG`对应的解释是：`增强向量检索的知识库`，那对应又引入的新的`关键词`，继续递归对新的`关键词`给出解释，通常迭代个`2-5轮`，就会有非常好的召回效果。字典里面通常会定义：同义词、类别、上下关系。私用飞书的话，内部标准自带一个`词典`应用，统一的业务领域的知识、语言体系。并且提供`api`从词典中提取关键字。直接通过关键字，把词条的内容读取出来。文本提取`关键词`也有很多开源模型能够提取，但是针对某些专业领域，一些开源不一定具备这样的提取能力。
|
||||
### 分词 chunk
|
||||
|
||||
`chunk`的`size`越大，召回越少。但是分的越精细，同样会损失上下文连贯性
|
||||
|
||||
|
||||
# 意图分类
|
||||
|
||||
用户提问的内容，很短、缩写的情况，如何命中用户的`真实意图`。
|
||||
|
||||
## 缓存库
|
||||
|
||||
可以做一个缓存库，直接命中返回结构就行，不需要走`LLM`
|
||||
|
||||
## QA
|
||||
|
||||
处理成`QA`的格式，类似 `xxx企业的董事长是谁`，答案是必须正确的，上一代的客服系统必备。直接数据级别的匹配就行,召回一般都是比较准确的。
|
||||
|
||||
## 关键词+词典+迭代
|
||||
|
||||
成本非常低，可控。思路是帮用户模糊，先提取关键词，再结合词典的词条解释，让表达更加的领域话、专业化，再扔给大语言模型。
|
||||
|
||||
例如：某个提问`什么是RAG`，首先`RAG`对应的解释是：`增强向量检索的知识库`，那对应又引入的新的`关键词`，继续递归对新的`关键词`给出解释，通常迭代个`2-5轮`，就会有非常好的召回效果。字典里面通常会定义：同义词、类别、上下关系。私用飞书的话，内部标准自带一个`词典`应用，统一的业务领域的知识、语言体系。并且提供`api`从词典中提取关键字。直接通过关键字，把词条的内容读取出来。文本提取`关键词`也有很多开源模型能够提取，但是针对某些专业领域，一些开源不一定具备这样的提取能力。
|
||||
|
||||
针对某些场景例如`2021年的xxxx`，同样的`2022年的xxxx`也发生了，使用`embedding`容易给错误召回的，而`ES`的效果会更好。相当于通过从用户的问题中，捕捉关键词，然后通过这些`关键词`去库里召回。这样的`关键词`，可以不断的积累`字典`,针对关键词给解释。
|
||||
|
||||
但是针对有日期、数字类的一般效果会非常不好，可以考虑采用`nl2sql`的方案，使用`fine-tuning`，能够做到召回率`90%`，有专门的模型针对这块，例如微软的`RAT-SQL`模型。
|
||||
|
||||
针对`excel`类型的文件，直接把数据存到一张`宽表`中，不要跨表，降低复杂度。针对`nl2sql`的开源模型的能力基本都是`单表`，基本可以达到预期
|
||||
|
||||
|
||||
## 知识图谱
|
||||
|
||||
|
||||
|
||||
针对`LLM`模型来说，数据治理变的很重要，在数据切分的过程中，需要符合人的逻辑去`分词`。按照人的逻辑，例如：表格、章节、目录……
|
||||
|
||||
## 分词
|
||||
|
||||
`chunk`的`size`越大，召回越少
|
||||
|
||||
## embedding
|
||||
|
||||
`embedding方案`可以考虑引入`link memory`，可以提高`10%-20%`，在医疗文献领域，根据参考材料写综述是非常专业的。
|
||||
|
||||
- 文档切分是浅层信息，类似chatPDF，数据中加入了总结、归纳的内容
|
||||
- 大模型生成摘要，总结上下文，再进行检索。
|
||||
|
||||
|
||||
# 如何提升召回率
|
||||
难点在于构建知识图谱，例如`dify`在针对某些回答不满意的情况，可以对回复进行修正。这样的话会让下次回答更加可控
|
||||
|
||||
# embedding哪个算法好
|
||||
|
||||
目前openai的最好，能够输入1536个输入，输出结果能切分到700多个维度。针对模型来说，重要性并不是很高。可以考虑替代方案。差距不会非常大，从实际角度来说，并不是很重要。
|
||||
|
||||
# 国内知识库方案哪些底座比较好
|
||||
|
||||
`qWen` 和 gpt 做过对齐，然后 `14B`、`72B int4` 效果就比较好，虽然比较慢，针对中文语料还是比较好的。
|
||||
|
||||
另一个就是 `yi-34b` 也还行。
|
||||
|
||||
# RAG的发展方向
|
||||
Loading…
Reference in New Issue
Block a user