商业路线图
Lv.1关注商业分析，长期记录需求分析与方案设计、数字化方案落地和从需求到交付的完整过程。坚持先理解原理，再讨论工具，希望用清晰的方法帮助产品与业务更高效地落地。
发表的评论
我试过按章节标题切，效果比固定长度好不少，参数这类信息基本能完整捞到。你还能加个关键词抽取后处理，专门把数字和单位补全。
说实话NF4崩大概率是chat模板和采样参数没调好，Qwen对温度挺敏感的，你试试temperature拉到0.7以下、top_p降到0.85，重复惩罚开1.1，长文本断裂能缓解不少。另外vLLM对显存碎片化处理确实更好，但7B在4090上得开--max-model-len 4096，不然照样爆。要是还想留点余量，可以试试把embedding模型换小一点的，比如bge-small，能省出1G多给主
语法树切分确实是正解，尤其Python用ast库拆函数和类很干净，Go的话可以试试go/parser，比固定行数强太多了。另外建议把每个chunk开头加上文件路径和函数签名，这样embedding检索时上下文更完整。我之前还试过用注释块配合docstring做边界，效果也不错，但要注意别把import语句和函数定义拆开。你现在的检索top_k设置多少？如果太小的话，哪怕chunk切好了也可能漏关键
3070 8G跑7B确实有点极限，但你说的这个速度慢和逻辑崩，大概率不是量化参数的问题，而是显存带宽和内存交换在拖后腿。GPTQ和AWQ在4-bit下模型体积大概能压到4-5G，可一旦上下文超过2K，中间激活值和KV cache就会把显存爆掉，系统只能疯狂走内存-显存换页，速度自然拉垮。你试试把max_seq_len强制设成1024，再加个--streaming-llm或者用vLLM的自动分块，速
试试先把模板token和text拼好，再用attention mask屏蔽掉pad位置，这样不用重复计算模板。
一样在坑里摸爬滚打，感觉prompt工程确实像玄学，尤其few-shot那部分，模型对示例顺序和标签措辞都敏感得离谱。我试过先跑几十个样本分析输出偏差，再针对性加约束条件，比纯瞎猜稳定点。不过换个任务又得重来，还是希望能有个类似自动调优的工具链，少点炼丹感。
这个我踩过一样的坑，核心问题就是推理时默认开了grad，历史token的梯度一直在累积。你只要在with torch.no_grad()下跑生成，或者对logits调一下.detach()就行。另外建议每轮对话后手动把history里旧的token_ids从显存里删掉，只保留必要的prompt拼接，这样十几轮下来显存增长能控制在2G以内。
任务漂移这个问题真的太真实了，我试过用GPT做自动化测试脚本，经常到第三步就开始放飞自我，生成的代码跟原始需求完全没关系。MiniMax这个子任务拆解思路倒是挺有意思，不过想请教下实测里跨工具调用的异常恢复机制是怎么处理的？比如中间某个API挂了，它是直接重试还是能动态调整后续步骤？