用AI编程助手写Python爬虫，怎么老是被反爬拦住？

哎，这个我太有同感了，最近也在折腾AI写爬虫，踩的坑简直一模一样。Cursor或者Copilot这类工具，写基础逻辑确实快，但碰上反爬就有点“傻白甜”了——它们默认生成的代码太规整了，requests头就那么几个常规字段，网站稍微检测一下“TLS指纹”或者“请求顺序”就给你ban了。

我个人试下来，一个比较实用的思路是：别指望AI一步到位搞定反爬，而是让它帮你搭好框架，然后你手动补反爬细节。比如让AI生成带requests.Session的代码，你告诉它“用session保持cookie，并随机从列表里选User-Agent”，它基本能写出来。但像Accept-Language、Accept-Encoding这些字段，我都是自己加进去的，AI经常漏。还有那个time.sleep，随机范围不能太小，我试过1-3秒随机延迟，豆瓣还是会封，改

成3-7秒才稳住。

代理IP池对新手确实有点劝退，不是技术多难，而是维护成本高——免费的不稳定，付费的又要选供应商。我觉得可以先试试更轻量的方案：比如用cloudscraper或者curl_cffi库，它们能模拟真实浏览器的TLS握手和指纹，有些网站直接就能过。再不行就上selenium或者playwright，让AI帮你写无头浏览器代码，虽然慢但绝对稳，豆瓣这种反爬级别完全扛得住。

另外，你试试把“豆瓣电影Top250”的请求头用浏览器开发者工具拷一份完整的，直接喂给AI，告诉它“给我生成一个带这些headers的请求代码”，效果比让AI自己猜好很多。新手别急着上代理池，先把session、随机延迟、完整请求头这三板斧练熟，大部分简单网站都能搞定。要是还不行，可以考虑换个目标网站练手，比如一些公开API的站点，先培养爬虫的调试思路。

说实话，豆瓣这种站反爬挺成熟的，光换User-Agent和加延迟基本没用。我一般让AI先帮我搭个session对象，把常见的请求头（Referer、Accept-Language这些）补齐，再配合随机延迟和重试机制，能撑一阵子。代理IP池对新手确实有点重，可以先试试免费代理或付费短效IP，让AI帮你写个简单的轮换逻辑，比硬扛强多了。

我也在纠结这个问题，AI生成的爬虫代码太直白了，稍微有点反爬就垮掉。想问下，你试过在prompt里加“用session保持会话”或者“随机生成请求头”这种细节指令吗？我试了几次，效果时好时坏。代理IP池确实麻烦，但听说有些免费接口也能凑合用，不知道你试过没？

同感啊，最近我也在折腾这个，用的也是Cursor，感觉AI写基础逻辑挺顺的，但一碰到反爬就有点抓瞎。你说的换User-Agent和加延迟我都试过，确实不太管用，感觉豆瓣这种站点的反爬已经升级了，不只是看这几个简单特征。

我后来试了让AI帮我用requests.Session来维持会话，然后在代码里加了自动从浏览器复制cookies的逻辑，好像是稍微好一点，但跑个几十条还是会被封。有个想法是让AI模仿真实浏览器的请求头，比如把Accept-Language、Referer这些字段都补全，甚至加上一些看起来随机的Accept-Encoding值，不知道这样能不能骗过检测。

不过你说到浏览器指纹，这个感觉就深了，普通爬虫好像很难模拟Canvas指纹那些东西，我查了下好像得用Selenium或者Playwright配合stealth插件才行。但我用Cursor试过让AI写Selenium代码，它生成的模板经常跑起来报错，比如元素定位不对或者等待时间没设好，调试起来比写代码还烦。

关于代理IP池，我也犹豫过。看了一些教程，感觉对新手来说确实有点重，要花钱买代理，还得处理IP失效、重试这些逻辑，加上代码复杂度一下子就上去了。我在想是不是可以先从更轻量的方式入手，比如用免费代理搭配随机切换，再配合更精细的请求伪装，让AI帮忙写个自动重试和换IP的循环。不知道这样实际效果怎么样，会不会还是很容易被封？你试过让AI生成那种带自动重试和错误处理的爬虫吗？我总觉得AI写这种异常处理逻辑有点敷衍，经常只给个try-except就完事了，细节还得自己补。

豆瓣的反爬其实没那么玄乎，核心问题是你直接用了requests默认的headers，少了Referer、Accept-Language这些常规字段，特别是Cookie里没有bid。让AI加个session，手动把浏览器里的完整headers粘过去，基本就能稳定跑。代理IP池对新手来说收益不大，优先把伪装做全，实在不行再考虑。

哈哈，这个我太有同感了！刚开始用AI写爬虫的时候，我也是被反爬搞得头秃。说几个我踩过的坑和摸索出来的经验吧。

首先，换User-Agent只是最基础的，现在稍微正规点的网站都会检测更多东西。比如你提到的请求头字段，像Accept-Language、Accept-Encoding、Referer这些，缺一个都可能触发风控。我让Cursor帮我整理过一份完整的请求头模板，直接复制进去用，成功率能高不少。

另外，session确实是个好东西。你可以在代码里让AI帮你写一个requests.Session()对象，然后先访问一下网站首页或者robots.txt，把cookie拿到手再跑爬虫，这样看起来更像正常用户的操作路径。我试过豆瓣，直接带session加上随机延迟（1-3秒之间波动），基本能稳定跑完前几页。

说到代理IP池，我个人觉得新手可以先别碰。一来成本高，免费的质量差容易掉线，二来配置起来也费劲。我自己踩坑之后发现，其实很多反爬都是因为爬虫行为太规律了。比如每次请求间隔完全一样，或者只访问目标页面不加载静态资源。你试着让AI加上随机下载CSS或JS文件的逻辑，有时候反而能骗过检测。

对了，你用的BeautifulSoup解析没问题，但要注意是不是每次请求都带了完整的headers。我试过用curl命令对比正常浏览器和爬虫的请求头差异，发现差了好几个字段，补上之后就没怎么被封过了。

你现在是只跑了几页就被封，还是爬完整个Top250才被封？如果是前者，建议先检查请求头完整性，再考虑加延时。另外，可以试试把爬虫伪装成移动端设备，有些网站对移动端的检测会松一点。

说实话，豆瓣的反爬没那么玄乎，但新手确实容易踩坑。你遇到的几个问题我一开始也全中，简单聊聊。

先说User-Agent，光换那个没用，豆瓣这类网站现在看的是请求头完整性。比如Accept-Language、Referer这些字段，AI生成的代码经常只给个User-Agent，其他全默认，一对比就很可疑。你可以让Cursor帮你补全一个接近真实浏览器的请求头，或者直接让它生成用requests.Session的版本，session会自动管理cookies，比每次新建请求靠谱得多。

至于time.sleep，豆瓣的反爬不是靠频率触发的，更多是行为特征。比如你访问的URL顺序是不是跟浏览器一样？有没有请求图片、CSS这些静态资源？纯爬虫只拿HTML，路径惯性太明显了。我建议你试试让AI写带随机延迟和请求头轮换的代码，甚至模拟点击“下一页”的URL模式，而不是直接构造页码参数。

代理IP池对豆瓣来说有点杀鸡用牛刀，而且质量差的代理反而容易被封。新手先搞定session和请求头伪装，再配合一个简单的IP池（比如免费代理列表里随机取几个，加个重试机制）就够了。让Cursor直接生成个带重试逻辑的爬虫类，比你手动折腾代理池效率高得多。

最后说个坑：豆瓣会检测Accept-Encoding，如果你让requests自动解压，但没在请求头里声明，也可能被拦。让AI把Accept-Encoding设成gzip, deflate，同时关掉自动解压或者手动处理，能少踩很多雷。先试试这些，大概率就不用上代理了。