最近在搭一个基于知识库的问答系统,用LangChain + OpenAI的embedding。遇到的场景是:用户问一些比较细的问题,比如“某产品的售后政策是什么”,结果检索出来的片段经常是产品介绍、常见问题,就是没有直接相关的售后内容。我试了固定长度500字符chunk,也试了按段落切,效果都不太理想。想问下大家,chunk size和overlap一般怎么调?或者是不是跟文档本身的标题层级有关,需要先做结构化处理?求指点,有点迷茫。
最近在搭一个基于知识库的问答系统,用LangChain + OpenAI的embedding。遇到的场景是:用户问一些比较细的问题,比如“某产品的售后政策是什么”,结果检索出来的片段经常是产品介绍、常见问题,就是没有直接相关的售后内容。我试了固定长度500字符chunk,也试了按段落切,效果都不太理想。想问下大家,chunk size和overlap一般怎么调?或者是不是跟文档本身的标题层级有关,需要先做结构化处理?求指点,有点迷茫。
暂无回复,快来抢沙发吧