用AI编程助手写Python爬虫，总被反爬卡住，是我prompt不对吗？

这问题我熟，AI写爬虫就是一锤子买卖，反爬得自己手动改，别指望prompt能调教明白。

我试过把token生成逻辑喂给它，结果代码跑通一次换个网站又废了，还是老实学点JS逆向吧。

别指望AI能搞定反爬，这玩意全靠经验堆，你不如直接让它生成对接代理池的模板自己改。

AI写静态页面还行，动态token这种坑它根本理解不了，建议先手动抓包再喂给Claude专门调接口。

说实话这真不全是prompt的锅，反爬本质是跟对方网站的动态博弈，AI训练的语料里这种对抗性代码本来就少，它很难理解token怎么生成、cookie怎么维持这种业务逻辑。我自己的经验是让AI把请求流程拆成“获取页面-解析token-带token重试”这种明确步骤，比让它自己发挥靠谱得多。另外别指望一次生成就完美，把403响应体贴回去让它分析原因，往往比反复改描述有用。

这问题不在prompt，AI只会照着常见套路写，反爬得靠手动改headers和session才行。

别指望AI能懂token动态逻辑，让它生成骨架，细节自己补，不然调一天都白费。

说实话这真不全是prompt的锅，反爬这块本质是动态对抗，AI只能给你搭个骨架，像token生成、JS加密这种它根本看不到上下文，写出来也是瞎猜。我试过把抓包拿到的完整请求头贴进prompt，让它照着模拟，成功率会高一些，但遇到带签名参数的接口还是得自己手动补。建议你把目标站点的具体报错信息也丢给AI，比单纯说“加UA”有用得多。

这问题我太有同感了，AI写爬虫遇到反爬基本就是靠猜，prompt再详细它也没法真正理解网站的校验逻辑。后来我干脆让AI只负责生成requests会话和解析部分，token和签名这些自己抓包后直接写死进代码，反而稳得多。你试试把反爬细节拆出来单独问，比如问“这个Ajax请求的token是从哪个接口返回的”，比让它一次性处理整个流程靠谱。另外动态加载的页面，直接用playwright让AI写反而容易成功，requests那套对新手来说确实坑多。

这问题不在prompt，AI写对抗逻辑本来就不行，你得自己抓包分析token生成规则再喂给它。

prompt再细也没用，反爬是动态博弈，建议你直接让它写半成品，核心校验逻辑自己手改。

这问题太真实了，AI写爬虫就像背题库，遇到反爬的临场应变就露馅了。

不如把token怎么生成、UA伪装这些细节拆成小步骤喂给它，比一句“处理反爬”管用得多。

这问题真不怪prompt，反爬本身就是攻防对抗，AI写不出那种要动态逆向的活，建议直接换playwright模拟浏览器。

AI对token生成和JS加密这种逻辑根本理解不了，你喂再多上下文它也只会给你拼接参数，不如自己抓包看下接口逻辑。

这种反爬对抗逻辑AI确实不擅长，得你把具体校验机制和绕过思路喂给它才行。我试过把抓包结果贴进prompt，成功率能高不少。

这问题太真实了，我拿GPT写爬虫也踩过同样的坑。感觉核心不是prompt不够细，而是AI对反爬机制的理解太“教科书”了，它生成的UA池和token逻辑往往都是伪随机，根本没模拟真实浏览器的行为特征。我后来是先把浏览器抓包得到的完整请求头和cookie链直接喂给它，让它照着改，成功率才高了些。另外对付动态token，别指望AI硬解，让它直接调Selenium或Playwright反而更省事，反正数据量小的话性能无所谓。

这种对抗性逻辑AI确实不擅长，它更懂语法不懂风控。建议你直接抓包分析token生成规律，再喂给AI让它写具体函数。

AI写爬虫就像背模板，遇到动态token就抓瞎，不如自己先手动分析清楚请求流程再让AI写代码。

说实话我觉得问题不全在prompt上，反爬这块本质是跟网站的动态规则博弈，GPT训练数据里这类对抗性代码样本太少，它更擅长写“理想状态”下的逻辑。你让它加随机UA，它可能真就给你随机一个字符串，但没考虑有些网站会校验浏览器指纹、Accept头、甚至TLS指纹，这些细节光靠描述很难覆盖全。我自己的经验是别指望AI一步到位，先让它生成基础框架，然后你把抓包拿到的真实请求头、token生成逻辑直接贴给它，明确告诉它“照着这个格式模拟”，比描述“处理异步加载”有效得多。另外动态token这种，多半是JS加密，你得单独让它分析那段JS代码，或者干脆用Selenium/Playwright走渲染，别死磕requests。还有个小技巧：如果网站有APP端，试试抓APP的接口，很多反爬只做了Web端，APP端反而好突破——这个思路AI不一定能自己想到。总之把AI当结对编程的实习生，你负责给具体线索，它负责写代码，别指望它自己“理解”反爬的攻防逻辑。对了，你用的Cline是不是有memory功能？把每次失败的错误信息喂回去让它迭代，比每次重新开prompt管用。

AI写反爬本来就瞎猫碰死耗子，你得把目标站的请求头、token生成逻辑喂给它才行，光靠描述没用。

这问题我太有同感了，AI写爬虫就像个老实孩子，你教它“绕过验证”它只会套模板，根本不懂怎么随机应变。我后来是把目标网站的请求头、cookie直接抓下来塞进prompt里，让它照着模拟，比让它自由发挥管用得多。另外动态加载那块，不如直接让它用selenium或者playwright，别死磕requests，反正AI写这两套代码也挺溜的。反爬这东西本质是跟人斗智，AI目前还没那个“坏心眼”，所以关键还是你帮它把具体细节喂到位。

说实话我觉得这还真不是prompt的问题，反爬本质是跟对方网站的攻防对抗，AI只懂通用逻辑，不懂具体站点的风控策略。你可以试试把抓包拿到的完整请求头直接贴给它，让它照抄，比让它“随机UA”靠谱多了。另外动态token这种，AI很难凭空推理出来，得你自己先分析出生成规律再喂给它。我最近的做法是让AI只写解析部分，请求和token逻辑自己手写，效率反而高不少。

说实话这问题我也踩过不少坑，AI写爬虫最大的问题不是它不懂反爬，而是它默认你给它的是“干净”的请求环境。你光在prompt里说加随机UA没用，它生成的代码可能只是换了个字符串，但cookie、请求头顺序、TLS指纹这些细节它根本不会主动考虑。我现在的做法是直接把抓包得到的完整headers贴进prompt，明确告诉它“保持这些字段原样，只改动态值”，这样成功率会高不少。

另外关于动态加载的token，我试过让AI先分析Ajax请求的生成逻辑，比如是不是从某个JS变量里取的，或者有没有时间戳+签名的规则，但说实话效果时好时坏。后来我换了个思路，干脆让AI写selenium或playwright的脚本绕过去，虽然慢一点，但至少稳定。毕竟反爬这玩意儿本质是猫鼠游戏，AI没有实时测试反馈，就跟你盲写代码一样，猜不准服务器到底校验了什么。

我觉得你倒不用纠结prompt对不对，更可能是目标站的反爬层级已经超出了AI能“推理”的范围。它擅长的是模式复用，不是对抗性创新。建议你把它当结对编程的助手，让它写基础框架，遇到403或空数据时，把具体报错和响应内容喂回去，让它根据实际返回再调整，比一次性写完整逻辑靠谱得多。

这问题我熟，别光靠prompt，把抓包拿到的真实headers和token生成逻辑直接喂给AI，比让它猜强多了。

AI写这种对抗性代码就是靠猜，你不如先手动跑通一次，再把完整流程丢给它封装成函数，基本就能过反爬了。

说实话这问题我太有共鸣了，自己折腾过好几轮，最后发现真不是prompt的锅。AI写爬虫本质是在“猜”网站的防护逻辑，像UA校验这种它知道要加，但往往随机UA池子太浅，或者忘了补headers里的Referer和Accept-Language，照样被拦。动态加载那块更麻烦，token的生成算法经常藏在压缩后的JS里，GPT-4纯靠看代码很难逆向出来，除非你明确告诉它用Selenium或Playwright走浏览器渲染，不然它老想着用requests硬刚，那肯定拿不到数据。我的经验是别指望AI一步到位，反而该让它生成一个带断点和日志的调试版本，然后你把实际报错和网页源码片段喂回去，让它基于真实反馈迭代，比在初始prompt里堆描述管用得多。另外你可以试试让它先用curl命令手动验证一下能不能通，再让AI照着curl的请求头改Python代码，这样命中率高不少。说到底，反爬是动态对抗，AI擅长写逻辑，但不擅长实时分析网站策略，所以你得把自己当成中间人，帮它把“战场情报”搞准确。

这题我熟，之前也折腾过一阵。你光在prompt里写“加随机UA”没用，AI不知道目标站具体校验逻辑，你得把报错信息或抓包看到的请求头直接贴给它，让它照着模拟。动态加载那块更麻烦，建议让它先分析XHR接口，token来源往往藏在某个JS里，你得把那段JS也丢给它看。反爬本质是博弈，AI只能给通用解法，细节还得靠人喂。