向量数据库做Agent记忆时，到底该存“原始文本”还是“embedding+原文”？
最近在搭一个带长期记忆的Agent，用LangChain接的Chroma和Pinecone。看官方文档懵了：有的教程让直接存用户对话历史的向量，有的说还要把原始文本一起塞进metadata里，还有的推荐只存embedding，说省空间。我现在是每次对话都把整段历史重新向量化再存进去，结果token消耗爆炸，检索还老返回重复的旧内容。想问下实际工程里，大家存记忆的字段结构一般怎么设计？有没有必要做时
稳步前行人工智能修炼册
RAG检索老召回无关片段，是切块粒度问题还是embedding模型选错了？
最近在搭一个基于本地技术文档的RAG问答，数据是几百篇Markdown，总token大概50万。我用的bge-large-zh，固定切块512字、重叠128，top_k取5。结果发现很多问题召回的片段和问题关联度很低，比如问“怎么配环境变量”却召回一堆讲API参数默认值的段落。调过相似度阈值，要么漏检要么还是不准。想问问各位老哥，这种场景是不是应该先做章节级切块再二次检索？或者换一下embeddi
认真做商业随身笔记
用向量数据库做Agent长期记忆，召回不准还老串台，是我姿势不对吗？
最近在搭一个个人知识库Agent，用LangChain+Chroma存对话历史，打算让Agent有“记性”。我是按时间窗口切块存的，每条记录带时间戳和session_id，查询时用similarity_search加上filter过滤。但实际用下来发现两个问题：一是隔几天问同样的问题，它经常召回很旧且不相关的片段，反而把最近的对话漏了；二是两个不同项目的讨论内容会互相干扰，感觉向量上太像了。我试过
小白_DevLab
PyTorch转ONNX再转TensorRT，动态batch一直报错，有人踩过这坑吗？
最近在部署一个分割模型，本地用PyTorch跑没问题，但上了TensorRT就各种不对。我是先转ONNX再转TRT，固定batch（比如1）就正常，但一开动态batch（min=1，opt=4，max=8）就报“Assertion failed: engine->getBindingDimensions(bindingIndex).nbDims == 4”之类的错。搜了一圈，有说要在ONNX里显式
依赖暂时正常观察员
Prompt Engineering学到什么程度算入门？有没有进阶路线？
Prompt Engineering学到什么程度算入门？有没有进阶路线？ 最近在这个方向上踩了不少坑，想听听大家的实际经验。
小许_Growth手记
RAG系统检索质量差，是不是我chunk切法有问题？
最近在做一个人事制度问答的RAG demo，用的bge-m3 + faiss + qwen。制度文档里有大量表格和条款引用，我一开始按markdown标题切chunk，每块500字左右。结果发现很多问题：比如用户问“年假和事假冲突怎么算”，系统老是检索到讲“年假定义”的段落，而不是真正讲“请假审批流程”的那段。我试过加长chunk到800字，也试过加overlap，效果都不稳。想请教下大家，这种带
周末安全手记
部署Qwen2.5-7B本地服务，显存够但推理慢得离谱，是哪里配置不对？
最近在折腾本地部署Qwen2.5-7B-Instruct，用的vLLM，显卡是4090（24G显存）。模型加载没问题，显存占用大概14G，但跑起来生成速度只有8-10 tokens/s，看别人帖子说同样配置能到40+。我试过调`--max-model-len`、`--gpu-memory-utilization`，也换了FlashAttention，还是没改善。CPU和内存占用都不高，GPU利用率
深夜低代码实验室
Prompt工程在代码生成场景里真的有用吗？还是纯靠运气？
最近在做一个内部工具，需要让LLM根据自然语言描述自动生成SQL查询。我试了各种Prompt写法：角色设定、Few-shot示例、思维链，甚至把数据库schema直接塞进上下文。效果时好时坏，同一个模板换个表名就翻车。而且加了太多约束之后，模型输出反而变得僵硬，经常给出语法错误或者凭空捏造列名。想问问有实战经验的各位，你们在代码生成这类“确定性要求高”的任务里，Prompt工程到底能优化到什么程度
小白Cloud
PyTorch训练到一半显存爆炸但loss正常，是代码问题还是正常现象？
最近在跑一个BERT微调任务，batch size设了8，序列长度256，刚开始loss下降挺正常，但跑到第3个epoch时突然CUDA out of memory。诡异的是，同样的代码和数据，前两个epoch显存占用一直是稳定的（大概11G左右），到了第三个epoch就飙到14G+，直接爆了。
创业备忘录
部署7B大模型微调后的显存爆炸，是我量化姿势不对吗？
最近在搞一个法律文书的抽取任务，用Qwen2.5-7B做了LoRA微调，效果还行。但部署到生产环境时出问题了——单卡A10（24G）加载int8量化后的模型，输入一长（比如3000字）就直接OOM，更别说并发请求了。我试了transformers的bitsandbytes和AutoGPTQ两种方式，都设置了`device_map="auto"`，还开了`use_cache=False`，但显存峰值
阿航_Lab
MCP和深度学习框架结合时，模型上下文到底该怎么管理？
最近在折腾把MCP（模型上下文协议）接入到我们自己的PyTorch训练流程里，主要是想统一管理不同任务的数据预处理和模型输入的上下文。但遇到个问题：MCP里的context是偏“对话/工具调用”那种动态的，而深度学习训练里上下文更多是静态的tensor shape和dataset配置。强行套用感觉有点别扭，比如多模态输入（图像+文本）时，MCP的context结构好像不太够用？有没有大佬已经在生产
代码今天稳定观察员
RAG场景下用Prompt模板给LLM加指令，为什么答案还是不对？
最近在做一个基于企业知识库的RAG问答，检索部分用的bge-m3，召回top5文档，然后拼进一个Prompt模板里让qwen-plus生成回答。模板里明确写了“请仅根据以下文档内容回答，不要编造”，但实际跑起来，模型还是会输出很多文档里根本没有的信息，尤其在用户问题比较口语化的时候。我试过调整温度、换过不同的模板措辞，比如“如果文档中没有答案，请直接说不知道”，但效果还是不稳定。想请教下大家，这种
纸上观星录
部署7B模型微调后推理变慢一半，是量化问题还是显存瓶颈？
最近在搞一个法律问答的LoRA微调，基座是Qwen2-7B-Instruct，微调用的是4bit QLoRA，跑完测试集效果还行。但部署到生产环境时发现推理速度比原版慢了好多——原来大概25 token/s，现在只有12 token/s，显存占用倒是没爆（大概14GB/24GB）。我试过关掉微调权重直接用原版，速度就恢复正常。 目前用的是vLLM加载，`gptq`量化，`max_model_l
持续研究数字化随身笔记
微调Llama3中文效果差到离谱，是数据问题还是我姿势不对？
最近用Lora微调llama3-8b做中文法律问答，训练集是自己清洗的2w条问答对，alpaca格式。跑了3个epoch，loss降到0.8左右，但推理时回答经常出现重复句子，甚至偶尔蹦出英文。我用了中文指令数据做sft，也加了template，但感觉模型根本没学会中文表达。想问问有经验的大佬，这种情况一般是基础模型选错了（应该用qwen或yi）？还是我的数据预处理有问题？另外，lora的rank
云端松鼠追着需求跑日记
向量数据库在千万级数据下，用HNSW还是IVF索引更靠谱？
最近在做一个相似图片检索的小项目，目前用ResNet50提取特征，大概有1000万张图，每张图是2048维的向量。现在用的Milvus，默认建了HNSW索引（M=16，efConstruction=200），但插入数据一多，内存直接顶不住了，查询延迟也开始飘。换成IVF_PQ之后内存倒是降下来了，但召回率明显变低，尤其是一些比较相似的边缘情况。想问问各位老哥，在千万级数据下，为了平衡内存、查询速度
保持好奇全栈修炼册
Copilot和Cursor都用了一圈，怎么感觉越用越不会写代码了？
背景：三年Java，最近转Python做点小项目。用了两个月GitHub Copilot，又试了一周Cursor的Composer模式。
文档正在思考的程序员
向量数据库在千万级数据下召回变慢，是索引选错还是分片姿势不对？
最近在做一个RAG项目，用的Milvus 2.3，数据量大概900多万条，embedding是768维，之前测试几百万的时候毫秒级返回，现在过了千万后延迟直接飙到400-500ms，召回率还掉了两个点。我试过换HNSW参数（M调到32，efConstruction调到400），也试过换IVF_FLAT，都改善不明显。现在怀疑是不是分片策略有问题，或者索引类型压根不适合这种量级？有没有老哥遇到过类似
清晨种树录
向量数据库这么多，RAG场景到底该选哪个？求过来人指点
最近在做RAG项目，数据量大概几百万条文本embedding，现在用faiss本地跑，但内存快扛不住了，而且每次全量更新索引特别慢。看了一圈像Milvus、Qdrant、Weaviate这些，感觉各有说法，有点选择困难。我的场景主要是知识库问答，查询并发不高，但希望支持增量更新和过滤条件（比如按文档类别过滤）。另外部署上不想太复杂，最好Docker能搞定。有没有用过的朋友聊聊实际体验？特别是数据量
持续输出商业修炼册
我要提问
大家都在搜
1
向量数据库到底怎么选？Milvus和Chroma看懵了
36
2
RAG部署后回答质量很差，是chunk切分问题还是embedding模型选错了？
35
3
用AI写代码总翻车，是我提示词不对还是工具选错了？
34
4
深度学习框架选择困惑：PyTorch和TensorFlow到底该深入学哪个？
32
5
RAG召回率上去了但答案质量反而变差，大家怎么调？
31
6
LoRA微调7B模型后推理显存爆炸，是我的方法不对吗？
31
7
大家用开源编程模型写生产代码时，真的敢直接信任它的重构建议吗？
31
8
MCP服务器里用Prompt模板，变量多了会不会拖慢响应速度？
30
9
PyTorch模型转ONNX后推理结果和原模型对不上，是量化问题还是算子不支持？
30
10
微调LLaMA3用来做中文客服，显存不够怎么破？QA数据该咋准备？
30
11
RAG里Prompt模板怎么写才能让大模型老实引用原文而不是乱编？
29
12
微调Llama3后推理变傻了，是数据问题还是我超参设置不合理？
28
13
MCP服务器接入深度学习框架做数据闭环，有大佬趟过坑吗？
28
14
RAG系统里文档切块后语义割裂严重，有什么优雅的解决方案吗？
27
15
大家用开源模型跑Prompt工程时，真的会去调temperature和top_p吗？
27
16
Prompt里加了角色设定反而变笨了，是格式问题还是模型问题？
27
17
用向量数据库做RAG，embedding后直接暴力检索和用索引差距真的大吗？
27
18
RAG系统检索结果太碎片化，生成答案逻辑断裂怎么办？
27
19
MCP服务器连多了会不会拖慢Agent响应？感觉越用越卡
27
20
大家用Qwen2.5-Coder写代码时，长上下文真的靠谱吗？
27