RAG+Agent架构下，多轮对话的上下文到底该存哪里？
最近在搭一个客服类的Agent，用的是RAG+LLM的方案。现在遇到个问题：用户问“昨天那个订单怎么回事”，我检索到的向量片段里根本没有“昨天”这个概念，只能靠对话历史去猜。如果把多轮对话历史全部塞进prompt，token消耗太大，而且经常把检索出来的关键信息“冲淡”。目前是把历史压缩成摘要存在内存里，但Agent一旦多步调用工具，摘要就乱套了。想问问大家，生产环境里一般是用向量库单独存对话记忆
索引还能再救的开发者
微调LLaMA模型做中文客服，显存总爆掉，求指点batch size和梯度累积怎么设？
最近在跑一个中文客服意图分类的微调任务，用的LLaMA-7B，LoRA方式，单卡A100 40G。数据大概2万条，每条也就几十个字。问题是batch size设2就OOM，设1又怕不收敛。尝试了梯度累积设4，但loss曲线震荡得很厉害，而且训练速度慢得离谱，一天才跑几千步。我看教程里都说小batch加梯度累积能模拟大batch，但实际效果很差。有没有大佬实际调过这类的？是不是LoRA的rank也要
慢热开源爱好者日常
大家用Qwen写Prompt时，温度参数一般怎么调？总感觉输出飘忽不定
最近在用Qwen2.5-7B做本地部署，写了不少Prompt想稳定生成JSON格式的代码注释，但发现温度设0.2时输出太死板，稍微改个说法就漏字段；调到0.7又偶尔会冒出重复的句子，甚至自己编造不存在的参数。我看文档说温度影响随机性，但实际用起来感觉和GPT差挺多的……有没有大佬分享下搭配top_p、repetition_penalty的经验？或者你们在结构化工序上是不是直接用贪婪解码？求个实践方
小林_Cloud手记
RAG的embedding模型到底该怎么选？bge和openai差距大吗？
最近在搭一个本地知识库问答，用的LangChain+Chroma。embedding模型在bge-large-zh和text-embedding-3-small之间纠结。试了下同样的PDF，bge检索出来的top5感觉有时候相关度不太行，但openai的api又要花钱而且数据要出网。看网上说bge在中文上比openai强，但我自己测下来好像不是这么回事，是我用法不对还是需要微调？另外chunk大小
阿Python玩家手记
开源模型写代码时，加了一堆角色设定反而变笨了，是我的Prompt姿势不对吗？
最近在本地部署了Qwen2.5-Coder-32B，想让它帮我重构一个老项目的工具函数。一开始直接贴代码让它改，效果还行，但总感觉风格不够统一。
大模型小站
部署本地大模型做Agent，显存和推理速度怎么平衡？
最近在折腾本地部署大模型跑Agent，主要用来做代码生成和简单工具调用。目前用的是Qwen2.5-7B-Instruct，量化到4bit后显存勉强够用，但并发一多速度就垮了，单次推理要两三秒，Agent多轮交互体验很糟糕。试过vLLM加速，但量化模型支持有点坑，FP16又放不下，只能换更小的模型。想问问大家，本地部署做Agent的话，是优先保证模型尺寸还是推理延迟？有没有比较稳的量化+推理服务组合
小林DockerLab
RAG用本地embedding模型效果差，换bge-m3还是直接上dense-x？
最近在搭一个私有知识库的RAG，用的Qwen2.5-7B做生成，embedding一开始图省事直接用了sentence-transformers里的all-MiniLM-L6-v2，结果检索出来的东西经常驴唇不对马嘴，chunk也试过256和512，召回率就是上不去。看很多帖子说中文场景要换bge-m3或者gte-large，但我这边机器只有一张3090，跑bge-m3会不会太吃显存？还有人说直接
增长工作台
用Cursor写单元测试总改错地方，是我prompt方式不对吗？
最近在把一个老项目的Jest测试补起来，用的Cursor的Agent模式。我发现一个问题：我明明在描述某个函数的行为，它却经常去改别的文件，甚至把已有的测试断言给改了。比如我让它给`utils/format.ts`补边界情况，结果它把`utils/parse.ts`的测试也动了，搞得CI直接挂掉。
慢热开源爱好者日常
LoRA微调后模型变“笨”了，是学习率问题还是数据集太小？
最近在尝试用LoRA微调一个7B的基座模型做代码补全，参考了网上不少教程。我用的数据集大概5000条左右的Python函数级样本，训练了3个epoch，loss降得挺快，但实际推理时发现模型在简单任务上反而退化了，比如让它写个快速排序，会输出一堆冗余注释甚至语法错误。我试过把学习率从1e-4调到5e-5，秩从8调到16，效果还是不稳定。想请教下各位，这种情况一般优先怀疑数据质量还是超参设置？另外，
小白_DevLab
RAG检索到的文档太碎，直接拼给大模型效果反而变差怎么办？
最近在做一个人事政策问答的RAG，用的bge-m3做embedding，chunk大小设的512，重叠64。检索出来的top5片段相关性看着还行，但拼在一起喂给qwen2.5-7b之后，回答经常前后矛盾，比如前面说年假5天，后面又说10天。我怀疑是切片把完整的制度条款拦腰截断了。试过调小chunk到256，但召回率又掉了。也试过让LLM先总结每个片段再合并，速度慢得没法用。有没有大佬遇到过类似情况
持续研究战略工具箱
RAG项目里Embedding模型和LLM到底该怎么配？求过来人指点
最近在做公司内部的知识库问答，用的RAG方案。现在卡在选型上，有点迷茫。我们文档主要是产品手册和售后记录，中文为主，量大概几万篇。试了BGE-M3和OpenAI的text-embedding-3-large，但感觉检索出来的top k结果总是不太对味，有时候明明语义相近的句子，排序却靠后。LLM这边在纠结用ChatGLM3还是Qwen，公司要求私有化部署，所以还得考虑显存占用。有没有大佬说说，Em
机器学习研究笔记
微调LLaMA模型loss降不下去，是数据问题还是学习率没调好？
最近在尝试微调一个7B的LLaMA做中文法律问答，用的LoRA。训练集是自己爬的判决书和法条问答对，大概2万条。现在遇到个问题：训练两三个epoch后，loss就卡在1.8左右死活不降了，验证集上的答案也开始重复，比如一直生成“根据相关法律规定……”这种套话。我试过把学习率从2e-4降到1e-5，也加了warmup，但效果不明显。想问问有经验的朋友：这种情况一般是数据清洗不够（比如很多长文本没截断
稳步前行运维学习者
RAG召回明明很准，为什么生成结果还是胡说八道？
最近在做企业知识库问答，用bge-m3做embedding，top-k取了5，召回的内容人工看了相关度很高，但GPT-4o生成时经常把不同文档里的数字和结论混在一起编。我试过调低temperature到0.1，也加了system prompt要求“仅基于给定材料回答”，但效果不稳定。更奇怪的是，有时候明明召回文档里没有的信息，模型也会一本正经地补全。想问问大家，这种“召回准但生成飘”的情况，是应该
向内求解商业成长记
PyTorch多卡训练DDP老报错，到底哪里没配对啊？
最近在魔改一个检测模型，想从单卡改成DDP多卡训练。代码参考了官方tutorial，但一跑就各种幺蛾子：先是`dist.barrier()`卡死，后来改成`nccl`后端又报`unexpected collective`……最迷惑的是我明明只在主进程里save了checkpoint，结果其他卡还是疯狂往同一个目录写日志。我猜是`DistributedSampler`和`DataLoader`的`n
认真做交互增长记
微调后的模型总在Agent任务里胡言乱语，是数据问题还是我姿势不对？
最近在做一个内部知识库的Agent，用Llama-3-8B做了LoRA微调，训练集是大概5000条指令数据，都是“根据文档X回答Y”这种格式。验证集loss降得挺好看，但一接到真实Agent工作流里就崩：工具调用参数经常编造不存在的键，或者直接跳过工具调用开始瞎编答案。我怀疑是不是微调时把工具调用的system prompt格式给稀释了？还是说需要把工具返回结果也拼进训练样本里？求有经验的大佬指点
云端树懒收集工具
微调Llama3后推理结果全是重复词，是数据问题还是超参没调好？
最近用Llama3-8B微调一个垂直领域问答模型，训练集大概5000条手工清洗的QA对，用的LoRA（r=16, alpha=32），学习率2e-4，跑了3个epoch。训练loss降得挺正常，但推理时输出全是“好的好的好的”或者重复某个短语，偶尔带一两个训练集里的词。试过降低temperature到0.1，也调过top_p，效果没用。看别人说可能是数据里target部分有噪声，但我检查过格式，都
代码准备提交观察员
RAG+Agent 结合时，上下文一长就乱答，有什么好办法吗？
最近在做一个内部知识库的 Agent，用的 LangChain + Chroma。单轮问答效果还行，但只要对话轮次超过 5 轮，或者用户一个问题里带了好几个条件，检索回来的 chunk 就经常跟之前的上下文打架。比如用户先问了“报销流程”，再问“那电子发票呢”，系统经常会去检索“电子发票”的通用知识，而不是结合上一轮提到的“报销”去过滤。我试过把历史记录全部塞进 retriever 的 query
企业级大模型落地指南
MCP和深度学习框架结合，大家是咋解决数据格式转换的？
最近在折腾MCP（Model Context Protocol）接入我们自己的PyTorch推理服务，遇到个比较头疼的问题。我们的模型输入是自定义的Tensor格式，但MCP的tool调用标准是JSON-RPC，传图像数据就得base64或者走文件路径，导致每次调用都要写一堆转换代码，还容易出性能瓶颈。
深夜架构研究所
我要提问
大家都在搜
1
向量数据库到底怎么选？Milvus和Chroma看懵了
36
2
RAG部署后回答质量很差，是chunk切分问题还是embedding模型选错了？
35
3
用AI写代码总翻车，是我提示词不对还是工具选错了？
34
4
深度学习框架选择困惑：PyTorch和TensorFlow到底该深入学哪个？
32
5
RAG召回率上去了但答案质量反而变差，大家怎么调？
31
6
LoRA微调7B模型后推理显存爆炸，是我的方法不对吗？
31
7
大家用开源编程模型写生产代码时，真的敢直接信任它的重构建议吗？
31
8
MCP服务器里用Prompt模板，变量多了会不会拖慢响应速度？
30
9
PyTorch模型转ONNX后推理结果和原模型对不上，是量化问题还是算子不支持？
30
10
微调LLaMA3用来做中文客服，显存不够怎么破？QA数据该咋准备？
30
11
RAG里Prompt模板怎么写才能让大模型老实引用原文而不是乱编？
29
12
微调Llama3后推理变傻了，是数据问题还是我超参设置不合理？
28
13
MCP服务器接入深度学习框架做数据闭环，有大佬趟过坑吗？
28
14
大家用开源模型跑Prompt工程时，真的会去调temperature和top_p吗？
27
15
Prompt里加了角色设定反而变笨了，是格式问题还是模型问题？
27
16
用向量数据库做RAG，embedding后直接暴力检索和用索引差距真的大吗？
27
17
RAG系统检索结果太碎片化，生成答案逻辑断裂怎么办？
27
18
MCP服务器连多了会不会拖慢Agent响应？感觉越用越卡
27
19
大家用Qwen2.5-Coder写代码时，长上下文真的靠谱吗？
27
20
Copilot和Cursor都用过了，为什么感觉AI写代码还是不太靠谱？
27