调了三天Prompt，Agent还是分不清“查天气”和“查日历”，求指点
最近在做一个简单的日程助手Agent，用Function Calling让模型调用天气API和日历API。问题是，用户说“明天出门要不要带伞”它知道调天气，但说“明天几点开会”它就卡住了，偶尔能调日历，更多时候直接瞎编一个时间。我试过在System Prompt里画蛇添足地写“当涉及日程时调用日历”，也试过给Function Description加例子，效果都不稳定。是不是我的意图识别思路不对？
持续研究战略工具箱
用vLLM部署Qwen2.5-7B，显存占用飙升到40G正常吗？
最近在折腾本地部署，照着教程用vLLM跑Qwen2.5-7B-Instruct，开的是默认配置（gpu-memory-utilization=0.9，max-model-len=8192）。结果nvidia-smi一看，显存直接干到39.8G，我4090都差点爆了。但看别人博客说同样配置也就20G出头，差距有点大啊。我怀疑是不是我的transformers版本和vLLM不兼容，或者启动参数漏了什么
数据库别催的程序员
RAG部署后回答总是漏关键信息，是检索问题还是生成问题？
最近用LangChain搭了一个本地知识库RAG，embedding用的bge-large-zh，向量库是Milvus，LLM接的Qwen2.5-7B。测试的时候发现，问一些跨章节的综合问题，比如“某项目的技术方案和预算对比”，检索出来的chunk明明包含相关数据，但最终回答总是漏掉预算那部分细节。我试过调top_k从3改到5，也试过换chunk_size从500改成300，效果还是不稳定。想问问
认真做创新拆解所
向量数据库做Agent记忆时，到底该存“原始文本”还是“embedding+原文”？
最近在搭一个带长期记忆的Agent，用LangChain接的Chroma和Pinecone。看官方文档懵了：有的教程让直接存用户对话历史的向量，有的说还要把原始文本一起塞进metadata里，还有的推荐只存embedding，说省空间。我现在是每次对话都把整段历史重新向量化再存进去，结果token消耗爆炸，检索还老返回重复的旧内容。想问下实际工程里，大家存记忆的字段结构一般怎么设计？有没有必要做时
稳步前行人工智能修炼册
RAG检索老召回无关片段，是切块粒度问题还是embedding模型选错了？
最近在搭一个基于本地技术文档的RAG问答，数据是几百篇Markdown，总token大概50万。我用的bge-large-zh，固定切块512字、重叠128，top_k取5。结果发现很多问题召回的片段和问题关联度很低，比如问“怎么配环境变量”却召回一堆讲API参数默认值的段落。调过相似度阈值，要么漏检要么还是不准。想问问各位老哥，这种场景是不是应该先做章节级切块再二次检索？或者换一下embeddi
认真做商业随身笔记
用向量数据库做Agent长期记忆，召回不准还老串台，是我姿势不对吗？
最近在搭一个个人知识库Agent，用LangChain+Chroma存对话历史，打算让Agent有“记性”。我是按时间窗口切块存的，每条记录带时间戳和session_id，查询时用similarity_search加上filter过滤。但实际用下来发现两个问题：一是隔几天问同样的问题，它经常召回很旧且不相关的片段，反而把最近的对话漏了；二是两个不同项目的讨论内容会互相干扰，感觉向量上太像了。我试过
小白_DevLab
PyTorch转ONNX再转TensorRT，动态batch一直报错，有人踩过这坑吗？
最近在部署一个分割模型，本地用PyTorch跑没问题，但上了TensorRT就各种不对。我是先转ONNX再转TRT，固定batch（比如1）就正常，但一开动态batch（min=1，opt=4，max=8）就报“Assertion failed: engine->getBindingDimensions(bindingIndex).nbDims == 4”之类的错。搜了一圈，有说要在ONNX里显式
依赖暂时正常观察员
Prompt Engineering学到什么程度算入门？有没有进阶路线？
Prompt Engineering学到什么程度算入门？有没有进阶路线？ 最近在这个方向上踩了不少坑，想听听大家的实际经验。
小许_Growth手记
RAG系统检索质量差，是不是我chunk切法有问题？
最近在做一个人事制度问答的RAG demo，用的bge-m3 + faiss + qwen。制度文档里有大量表格和条款引用，我一开始按markdown标题切chunk，每块500字左右。结果发现很多问题：比如用户问“年假和事假冲突怎么算”，系统老是检索到讲“年假定义”的段落，而不是真正讲“请假审批流程”的那段。我试过加长chunk到800字，也试过加overlap，效果都不稳。想请教下大家，这种带
周末安全手记
部署Qwen2.5-7B本地服务，显存够但推理慢得离谱，是哪里配置不对？
最近在折腾本地部署Qwen2.5-7B-Instruct，用的vLLM，显卡是4090（24G显存）。模型加载没问题，显存占用大概14G，但跑起来生成速度只有8-10 tokens/s，看别人帖子说同样配置能到40+。我试过调`--max-model-len`、`--gpu-memory-utilization`，也换了FlashAttention，还是没改善。CPU和内存占用都不高，GPU利用率
深夜低代码实验室
Prompt工程在代码生成场景里真的有用吗？还是纯靠运气？
最近在做一个内部工具，需要让LLM根据自然语言描述自动生成SQL查询。我试了各种Prompt写法：角色设定、Few-shot示例、思维链，甚至把数据库schema直接塞进上下文。效果时好时坏，同一个模板换个表名就翻车。而且加了太多约束之后，模型输出反而变得僵硬，经常给出语法错误或者凭空捏造列名。想问问有实战经验的各位，你们在代码生成这类“确定性要求高”的任务里，Prompt工程到底能优化到什么程度
小白Cloud
PyTorch训练到一半显存爆炸但loss正常，是代码问题还是正常现象？
最近在跑一个BERT微调任务，batch size设了8，序列长度256，刚开始loss下降挺正常，但跑到第3个epoch时突然CUDA out of memory。诡异的是，同样的代码和数据，前两个epoch显存占用一直是稳定的（大概11G左右），到了第三个epoch就飙到14G+，直接爆了。
创业备忘录
MCP服务器里直接放微调好的模型靠谱吗？还是走API更稳？
最近在折腾把公司内部微调过的Qwen模型接到MCP服务器上，给同事的Claude Desktop用。现在纠结的是：直接把模型权重塞进MCP server里（本地跑vLLM），还是让MCP server只负责调用我们已有的API服务？本地跑的话，延迟确实低，但每次更新模型都要重新部署MCP服务，而且多人同时用的时候，显存分配和并发控制感觉会很麻烦。走API的话，感觉MCP这边就变成一个纯转发层，但又
队列正在加载求生记
部署7B大模型微调后的显存爆炸，是我量化姿势不对吗？
最近在搞一个法律文书的抽取任务，用Qwen2.5-7B做了LoRA微调，效果还行。但部署到生产环境时出问题了——单卡A10（24G）加载int8量化后的模型，输入一长（比如3000字）就直接OOM，更别说并发请求了。我试了transformers的bitsandbytes和AutoGPTQ两种方式，都设置了`device_map="auto"`，还开了`use_cache=False`，但显存峰值
阿航_Lab
MCP和深度学习框架结合时，模型上下文到底该怎么管理？
最近在折腾把MCP（模型上下文协议）接入到我们自己的PyTorch训练流程里，主要是想统一管理不同任务的数据预处理和模型输入的上下文。但遇到个问题：MCP里的context是偏“对话/工具调用”那种动态的，而深度学习训练里上下文更多是静态的tensor shape和dataset配置。强行套用感觉有点别扭，比如多模态输入（图像+文本）时，MCP的context结构好像不太够用？有没有大佬已经在生产
代码今天稳定观察员
RAG场景下用Prompt模板给LLM加指令，为什么答案还是不对？
最近在做一个基于企业知识库的RAG问答，检索部分用的bge-m3，召回top5文档，然后拼进一个Prompt模板里让qwen-plus生成回答。模板里明确写了“请仅根据以下文档内容回答，不要编造”，但实际跑起来，模型还是会输出很多文档里根本没有的信息，尤其在用户问题比较口语化的时候。我试过调整温度、换过不同的模板措辞，比如“如果文档中没有答案，请直接说不知道”，但效果还是不稳定。想请教下大家，这种
纸上观星录
部署7B模型微调后推理变慢一半，是量化问题还是显存瓶颈？
最近在搞一个法律问答的LoRA微调，基座是Qwen2-7B-Instruct，微调用的是4bit QLoRA，跑完测试集效果还行。但部署到生产环境时发现推理速度比原版慢了好多——原来大概25 token/s，现在只有12 token/s，显存占用倒是没爆（大概14GB/24GB）。我试过关掉微调权重直接用原版，速度就恢复正常。 目前用的是vLLM加载，`gptq`量化，`max_model_l
持续研究数字化随身笔记
微调Llama3中文效果差到离谱，是数据问题还是我姿势不对？
最近用Lora微调llama3-8b做中文法律问答，训练集是自己清洗的2w条问答对，alpaca格式。跑了3个epoch，loss降到0.8左右，但推理时回答经常出现重复句子，甚至偶尔蹦出英文。我用了中文指令数据做sft，也加了template，但感觉模型根本没学会中文表达。想问问有经验的大佬，这种情况一般是基础模型选错了（应该用qwen或yi）？还是我的数据预处理有问题？另外，lora的rank
云端松鼠追着需求跑日记
向量数据库在千万级数据下，用HNSW还是IVF索引更靠谱？
最近在做一个相似图片检索的小项目，目前用ResNet50提取特征，大概有1000万张图，每张图是2048维的向量。现在用的Milvus，默认建了HNSW索引（M=16，efConstruction=200），但插入数据一多，内存直接顶不住了，查询延迟也开始飘。换成IVF_PQ之后内存倒是降下来了，但召回率明显变低，尤其是一些比较相似的边缘情况。想问问各位老哥，在千万级数据下，为了平衡内存、查询速度
保持好奇全栈修炼册
Copilot和Cursor都用了一圈，怎么感觉越用越不会写代码了？
背景：三年Java，最近转Python做点小项目。用了两个月GitHub Copilot，又试了一周Cursor的Composer模式。
文档正在思考的程序员
我要提问