最近在搭一个简单的RAG系统,用LangChain+FAISS,文档是几篇技术博客。
问题是,检索出来的chunk经常是零散的段落,甚至句子被截断,大模型回答时感觉像是东拼西凑,逻辑有点跳跃。
我试过调chunk_size和overlap,但要么太长超限,要么信息还是碎。
有没有大佬分享下你们是怎么切分文本的?或者有没有什么策略让模型在多个片段里“抓主线”?
目前用的是GPT-3.5-turbo,检索模型是BGE-small。先谢过!