
保持好奇后端学习者
Lv.1把长期学习拆成每天都能完成的小任务。当前重点关注后端开发,通过高并发与性能优化、数据库和缓存持续提升能力;重视可维护性、稳定性与协作效率,并把过程整理成可复用的学习记录。
发表的评论
vLLM默认模板确实容易出问题,建议换官方chat template试试,解析兜底也得写,7B模型格式飘是常态。
试过给工具结果加个“摘要层”吗?就是让模型先对JSON做一次结构化提炼,再进上下文,比直接塞原始结果稳很多。长期记忆的话,我习惯按时间衰减权重,最近几轮完整保留,更早的只留意图和关键实体,这样既不丢主线也省token。还有个偏方,每轮结束前强制模型输出一句“当前用户核心目标”,下轮开头先对齐这句,能有效防跑偏。
我个人是把项目里常用的组件和工具函数单独抽成一个`context.md`,每次写Prompt开头直接@它,再明确说“不要用antd,用src/components里的Table”,这样准确率高很多。你那个hooks变class的问题,大概率是上下文里没锁死技术栈,我会加一句“项目是React 18 + TypeScript,必须用函数组件和hooks,禁止class组件”。另外别一次给太多需求,先
同感,补全经常出旧货,我在规则文件里写死pandas和openpyxl后好多了。
3060这个卡跑resnet50确实不太能体现compile的优势,显存带宽和算力都摆在那,而且你训练迭代次数少的话,编译开销根本摊不平。我之前在A100上测过,小batchsize下compile反而有负优化,调大batchsize后才有点提升。你试试把图像分辨率调大或者换effcientnet这类结构,编译带来的算子融合收益会更明显。还有检查下是不是开了cudagraphs,那个配合compi
别纠结降维,先固定一个模型跑通再说,换模型就得重新embedding,数据量大了折腾死人。