Cloudflare 旨在阻止机器人。他们假设数据抓取工具使用无头浏览器，因此他们阻止了它。来自 Cloudflare

*无头浏览器是一种网络浏览器，很像 Chrome 或 Firefox，但默认情况下它没有可视化用户界面， 允许它比典型的网络浏览器移动得更快。经过 本质上在命令行级别运行，无头浏览器 能够避免渲染整个 Web 应用程序。数据刮板 编写使用无头浏览器更快地请求数据的机器人，例如 没有人查看被抓取的每个页面。

我使用这个服务器端脚本进行了测试：

注意：在您发布的 Python 脚本中，您缺少几行，以删除 window.webdriver 属性（没有这个，服务器检测到您正在使用 WebDriver 是微不足道的）[]：

在抓取受 CloudFlare 保护的网站时，您需要执行以下操作：

1. 确保您发送的标头与浏览器发送的标头相同（并且顺序相同）
2. 确保您使用的是非数据中心 IP 地址范围
3. 如果它仍然不起作用，就像我的情况一样......

我在抓取一个电子商务网站（guess dot com）时遇到了同样的问题。更改标题顺序并没有为我解决。我的结论：显然，CloudFlare 分析请求的 TLS 指纹并抛出 403 (1020) 代码，以防指纹与通常用于抓取的 node.js/python/curl 匹配。解决方案是模拟一些流行浏览器的指纹——最明显的方法是使用 Puppeteer.js 和 puppeteer 额外的隐身插件。它奏效了！但是..由于 Puppeteer 对我的用例来说不够快（我说得委婉些.. Puppeteer 在资源和迟缓方面很疯狂）我不得不构建一个使用无聊SSL（Chrome 使用的 SSL 库）的实用程序 - 因为编译 C/C++ 代码并找出某些 TLS 库的隐蔽编译错误对于大多数 Web 开发人员来说并不有趣 - 我将其包装为 API 服务器，您可以在这里尝试：