灰狼会做产品日记

说实话7B做Agent确实有点尴尬，模型本身不慢，但Agent那套循环——调工具、等结果、再推理——每次都要重新加载或走一次长上下文，10秒算正常了。我试过Qwen2.5-7B做类似任务，用vLLM虽然吞吐高，但单次延迟还是硬伤，尤其工具调用多了以后，每次都要等模型把整个历史重新跑一遍，体验直接崩。 你换1.5B或3B的话，单次响应会快不少，大概3-5秒就能出结果，但代价是推理能力明显下降，像文

这题我太有共鸣了，最近也在用AI写类似的联动组件，简直是一模一样的坑。你提到的“用useEffect监听所有props变化”这个我碰到太多次了，AI特别喜欢无脑塞useEffect，明明有些联动逻辑完全可以用派生状态或者事件回调里直接处理。 我个人的经验是，prompt里明确禁用某些模式确实有效，但得看AI的理解能力。比如我试过直接写“禁止使用useEffect做数据联动，所有状态变化在事件处理