最近在搞一个基于LLM的文本分类项目,想用PyTorch实现一个动态的Prompt模板拼接。比如输入是“评价:{text},情感:{label}”,但不同样本的text长度差别很大,我直接用了collate_fn里的pad_sequence,结果发现模板里的特殊token(比如<|im_start|>)也被pad了,导致模型推理时位置编码错乱。尝试过先拼模板再pad,但批量处理时模板里的固定部分又得重复计算。想问问大家,有没有更简洁的方式,既保留模板结构又能处理batch?我目前是手动写了一个循环,但感觉太蠢了……求指条明路。