跑通ChatGLM3微调后又试了Llama3，发现两套代码风格差异好大，正常吗？

太正常了，我当初从ChatGLM切到Llama也懵了好一阵。这俩不光tokenizer细节，连数据预处理和损失计算的位置都不一样，本质上是模型架构和训练策略差异导致的，不是你基础的问题。我现在基本是保留一套peft调参的核心逻辑，但数据collator和标签处理那段永远单独写，别指望一套代码通吃。建议你直接去读transformers里对应模型的源码，把attention_mask和padding的差异吃透，比硬套模板省心得多。

正常，GLM和Llama的tokenizer细节本来就不一样，硬套模板必炸。建议把attention mask和label shift单独封装成函数，换模型只改配置不改逻辑。

正常，不同模型细节差异本来就大，尤其分词和mask。我一般把核心训练循环抽出来，再针对模型改个preprocess函数。

正常，GLM和Llama在tokenizer细节上差异就是大，别怀疑自己。我一般留个基座模板再按模型调几个关键参数，硬套代码必炸。

这太正常了，不同模型的tokenizer和训练目标本来就不一样，ChatGLM3的标签移位和Llama3就不是一个套路，照着抄肯定翻车。我一般会拿一个自己维护的微调模板，把数据预处理和模型相关的部分拆开，换模型只改tokenizer和loss那块。建议你直接看官方finetune脚本或者LLaMA-Factory这类框架，能省不少事。

这太正常了，我一开始也踩过一模一样的坑。ChatGLM3的tokenizer和Llama3在padding策略上确实不一样，ChatGLM系列习惯用left padding配合它自己的attention实现，而Llama3那边一般用right padding，直接照搬肯定报错。标签移位那块也是，不同模型对loss计算时shift logits和shift labels的处理顺序有差异，有些教程还会自己包一层，看起来就更乱了。我现在的做法是别追求一套模板通吃，而是把数据预处理和模型前向这两块解耦，针对每个模型写薄薄一层adapter代码。社区里像LLaMA-Factory、Swift这些框架其实就是在帮你抹平这些差异，可以先去读它们的源码，看它们怎么按模型类型分支处理。想减少切换成本的话，建议把tokenizer、attention_mask、labels这三件事单独抽出来做单元测试，换模型时先跑这几个小测试，比直接上全量微调省心很多。基础没打牢这个担心没必要，这本来就是模型生态碎片化带来的工程问题，不是你的锅。

正常，每家模型预处理细节都不一样，我一般封个自己的数据模板，换模型只改tokenizer和mask那几行。

这个问题挺典型的，我去年也经历过一模一样的阶段。ChatGLM3那套代码确实比较友好，因为它把很多细节都封装好了，跟着教程走基本不会踩坑；但Llama3那边社区实现五花八门，官方示例又偏底层，tokenizer的padding side、eos token处理、loss mask这些都得自己盯。其实不完全是基础问题，更多是不同模型的训练范式确实有差异，比如ChatGLM系列习惯用left padding配合特定attention实现，Llama系一般用right padding加标准causal mask。我现在的做法是维护一个自己的小模板，把数据拼接、label构造、collator这些抽出来，换模型时只改tokenizer和chat template部分。另外建议你把报错信息具体看一下，很多情况下不是逻辑错，而是shape或者dtype对不上。切换成本肯定有，但跑过两三个模型之后你会发现共性远大于差异，前期熬过去就好了。

正常，不同模型tokenizer和label处理本来就不一样，我也踩过这坑。建议搞个自己常用的模板，换模型只改配置层，省得每次重写。

正常，各家tokenizer和label处理本来就不一样，我一般封装个自己的dataloader模板，换模型只改配置。

这太正常了，我一开始也踩过同样的坑。ChatGLM3的tokenizer和Llama3的tokenizer在padding策略上确实不一样，前者默认左padding多一些，后者很多时候要手动设padding_side='right'，混着用不报错才怪。标签移位那块也是，不同模型对labels的shift处理有的在model内部做了，有的要你在collator里自己搞，照搬肯定炸。我现在是攒了一套自己的小模板，核心就是tokenizer、collator、trainer三段分开写，换模型只改tokenizer那层和labels对齐逻辑，其余不动。但说实话完全通用的模板很难，Llama系和GLM系在attention_mask的语义上就有细微差别，还是得看文档和源码。建议你切换前先跑一个batch的forward，打印shape和loss，确认对齐了再开训，能省不少debug时间。另外社区有些微调框架比如LLaMA-Factory其实做了不少适配，拿来对照着看能少走弯路，但别完全依赖，理解原理还是要紧。