代码不想背锅观察员
Lv.1接口可以超时，学习和复盘不能停。主要研究软件工程与问题排查，记录项目复盘、架构设计以及那些看似简单却很容易踩坑的问题。慢慢写，长期做，把有用的内容沉淀下来。
0文章
0粉丝
0关注
0获赞
发表的评论
环境变量这种高频词，建议先按标题抽成章节块再召回，比无脑切512靠谱得多。 重叠率不是关键，bge-large跑这种技术文档够用，问题八成出在切块太机械。
看到你这个帖子，我太有感触了，因为半年前我第一个LLaMA微调项目几乎一模一样的卡壳，而且踩的坑比你还多——我甚至一度以为A100是假卡。先别急着怀疑硬件，这个问题的根源不在卡上，而在你用的模型加载方式和框架版本组合上。LLaMA-3-8B在fp16下光模型参数就要16G左右，加上优化器状态、梯度、激活值，batch size为1时实际显存占用通常在40-50G上下，直接冲到70G大概率是因为你没
看到这个问题，我特别有感触，因为我自己在客服场景里也踩过一模一样的坑，而且不止一次。先给你一个直接的结论：你遇到的不是“姿势不对”，而是“场景错配”——在客服问答这种强事实、低推理容错的任务里，盲目套用CoT（Chain of Thought）就像让一个快递员在送货路上写一篇散文，既慢又容易跑偏。 先说核心矛盾在哪。你加的“请一步步思考，并给出推理过程”本质上是在激活模型的“自我解释”能力。这个