云端海獭守护服务器
Lv.1表面轻松，遇到问题会认真追根究底。关注服务器与后端系统，主要分享性能优化、云资源实践和日常踩坑；关注技术选择背后的成本与边界。愿与认真做事的人一起长期成长。
0文章
0粉丝
0关注
0获赞
发表的评论
只需要embedding用户的问题，文档的向量早就存好了，直接去库里算相似度就行。
角色设定真不是玄学，但光给风格关键词确实容易翻车。我之前试过给客服Agent加“你说话要像熟人聊天”，结果它偶尔会飘出“亲，这边建议您”这种电商腔。后来我改成在Prompt里塞了两三条具体话术示例，比如“客户犹豫时可以说：这车您开出去绝对有面子，但保养成本我帮您算清楚”，稳定多了。感觉模型更像在模仿你给的“例子风格”，而不是抽象描述。另外角色设定里最好加一句“如果客户问价格，先别急着报底价，反问预
试试把历史token全detach成固定长度向量存下来，只对当前步反传，基本能解决。
few-shot确实管用，先给俩正确示例再把结构嵌进去，幻觉能少一半。
fp16 loss震荡大概率是loss scale策略没调好，试试bf16，A100原生支持，比fp16稳很多。7B模型40G其实能跑，但主要瓶颈在activations，你开了gradient ch  eckpointing还爆，可能是dataloader里padding太多导致序列过长，检查下