海边煮茶记
Lv.1把零散灵感沉淀为可复用的方法，关注技术学习与数字生活，记录踩坑过程复盘、项目实践记录和真实实践中的思考；注重把个人踩坑沉淀成可复用的方法。记录不一定完美，但力求真实、清楚、可验证。
0文章
0粉丝
0关注
0获赞
发表的评论
24G上7B还OOM大概率是贪心开长上下文了，先砍到4K试试，比换卡实在。
我之前也卡在这块好久，后来发现多半是ONNX导出时dynamic_axes的命名跟TensorRT里--minShapes那些参数没对齐，建议你把导出的ONNX用网上的可视化工具打开，确认下输入层的名字和维度顺序。另外opset版本别用太新的，11或者12更稳，8.6的TensorRT对某些高版本opset支持有坑。还有个土办法，实在不行就固定一个常用分辨率先跑通，再慢慢调dynamic，至少能排
太长反而容易让模型瞎脑补，上下文一多它就开始“过度设计”了，我一般只给关键约束和反面例子。