找回密码
 立即注册

QQ登录

只需一步,快速开始

PropellerAds
⚡️按条S5代理⚡️静态⚡️独享⚡️5GMediabuy⚡️玩家开户首选【鲁班跨境通-自助充值转账】FB/GG/TT❤️官方免费开户
Affiliate 全媒体流量资源⚡️Taboola/Outbrain /Bing⚡️一级代理开户投流-7*24h❤️人工在线【官方】❤️搜索套利买量投流开户
独立站⚡️开户投放Google FB TK游戏代投⚡️E.PN 虚拟卡⚡️BINOM TRACKER 60% OFF!
比Adplexity还好用的Spy工具ADPLEXITY + ADVERTCN7200W全球动态不重复住宅IP代理全球虚拟卡, 支持U充值
【15 年团队 - 广告自动化系统、定制开发】【ActionKey】Meta API 桥接令牌尤里改 - FB 稳定投放【神盾 AI】Meta 广告资产防护 永久免费
FB 三不限源头 - 自助下户充值转款各种主页、账单户、BM户(优势)IPCola原生住宅IP⚡️$1.8/条双ISPTK加白户/二解户/FB海外户/GG老户
最大欧洲Nutra网盟BA找量 FB高权重耐操个号⚡️稳定过审联盟收款/海外资金下发/服贸结汇✔Taboola海外户源头
全球效果广告投放平台|Vertoz IngeniousPlexSX.ORG 住宅IP | 凭码ADVERT3免费领3GB广告位出租 
查看: 29562|回复: 6

[讨论] 关于采集碰到cloudflare的403错误

[复制链接]

47

主题

743

广告币

993

积分

中级会员

积分
993
发表于 2021-6-29 10:19:08 | 显示全部楼层 |阅读模式
Influxtec
本帖最后由 大西瓜 于 2021-6-29 10:22 编辑
/ w& z% b- q8 J% H4 j7 _& \. s5 X5 T# x5 `1 r, q$ N& m
之前一套采集规则可以正常运行,对方站点也套了cloudflare,但只需要把登陆过的cookies放进去就可以了。前段时间不行了,采集不到。用浏览器可以正常打开网页,但是用curl采集的时候,怎么样都会提示403错误,要输入验证码。请问这个是对方使用了WAF或者防爬虫的规则吗。这种情况,一般能解决吗~?
' t7 }. o0 Q9 r( e5 J8 R
相关帖子
Binom_AdvertCN
回复

使用道具 举报

36

主题

1013

广告币

1766

积分

高级会员

积分
1766

社区QQ达人

发表于 2021-6-29 10:56:23 | 显示全部楼层
你还能突破cloudflare的防火墙不成" B3 r* e7 F  f3 _" ?
想起他办法吧,比如换ip什么的
回复 支持 反对

使用道具 举报

1681

主题

1万

广告币

2万

积分

管理员

宇宙无敌河马天神

积分
28383

社区QQ达人

发表于 2021-6-29 13:26:59 | 显示全部楼层
做为一个长期的CF付费用户,我觉得他是屏蔽了一些user agent
) J7 z6 @1 Z; c+ _3 Z, v9 K0 M- J$ T9 g* v
应该不是IP的问题6 c9 }- U( I6 E  g7 t# N# w6 D2 }

: [  W  L! I- \8 h+ r3 O你试试轮换user agent

点评

我用的就是自己浏览器的user agent,自己浏览器能正常访问的,也没有5秒验证。换了也没啥用。更改过这个agent,ip,判断不是简单的user agent问题。也不是Ip问题。这些我在不同国家的服务器都测试过。怀疑对方用了企  详情 回复 发表于 2021-6-29 14:20
学会提问的艺术, 从小处入手, 忌大而空
AdvertCN电报群

我最喜欢用的工具
7200W全球动态不重复住宅IP代理
回复 支持 反对

使用道具 举报

47

主题

743

广告币

993

积分

中级会员

积分
993
 楼主| 发表于 2021-6-29 14:20:09 | 显示全部楼层
本帖最后由 大西瓜 于 2021-6-29 14:29 编辑
+ P* [5 p& z/ l& q
河小马 发表于 2021-6-29 13:267 g% `- R; t! W/ O- O2 D2 ~- p+ ?1 b3 L
做为一个长期的CF付费用户,我觉得他是屏蔽了一些user agent/ b, {1 v5 Z  e: c
$ [- M6 v2 V- I/ \
应该不是IP的问题

3 m; A9 C5 w/ p; K- I1 ]: S我用的就是自己浏览器的user agent,自己浏览器能正常访问的,也没有5秒验证。换了也没啥用。更改过这个agent,ip,判断不是简单的user agent问题。也不是Ip问题。这些我在不同国家的服务器都测试过。在想会不会对方启用了br压缩。我用chrome浏览器能直接打开。用IE9打开就会弹出验证码界面(还显示不出来那种)Please stand by, while we are checking your browser...

点评

CF 后台的WAF 限制里面,没有br压缩这个判断的选项 选项其实都挺简单的,你就只能一个一个的试 我自己一般是限制user agent 和 ASN  详情 回复 发表于 2021-6-29 15:57
回复 支持 反对

使用道具 举报

1681

主题

1万

广告币

2万

积分

管理员

宇宙无敌河马天神

积分
28383

社区QQ达人

发表于 2021-6-29 15:57:03 | 显示全部楼层
大西瓜 发表于 2021-6-29 14:20: X/ S! ^* p$ M8 w
我用的就是自己浏览器的user agent,自己浏览器能正常访问的,也没有5秒验证。换了也没啥用。更改过这个ag ...

+ |% b, ?, o' I3 h/ y6 Q, tCF 后台的WAF 限制里面,没有br压缩这个判断的选项$ a5 B1 E# I  N9 }
& S4 ~# j6 G$ l, M/ T/ A( a# l" v
选项其实都挺简单的,你就只能一个一个的试, o9 |$ `( |$ ^
" t& B% j/ f7 Z6 _/ |4 K
我自己一般是限制user agent 和 ASN
学会提问的艺术, 从小处入手, 忌大而空
AdvertCN电报群

我最喜欢用的工具
7200W全球动态不重复住宅IP代理
回复 支持 反对

使用道具 举报

95

主题

2350

广告币

3315

积分

金牌会员

积分
3315

社区QQ达人

发表于 2022-10-17 15:20:52 | 显示全部楼层
本帖最后由 sead 于 2022-10-17 15:24 编辑
: D, q& w1 h, k, R; W8 {" w! R5 Y; ]
6 U; p5 A, `7 z4 Q8 g7 ? 之前用火车头碰到CF的特定规则会熄火,要专门写脚本转发后再采。3 m5 s9 C/ n, L: C0 C! ^  w
https://stackoverflow.com/questi ... ile-urllib-does-not
9 ?0 L0 q$ g* t% @1 i% LCF对浏览器的访问特征做了锁定
VPS性能不足?这里有便宜大内存+高频独享CPU VPS
回复 支持 反对

使用道具 举报

150

主题

2799

广告币

4479

积分

金牌会员

积分
4479
发表于 2022-10-17 16:03:02 | 显示全部楼层
还真遇到过这个问题,直接访问没有问题,用PHP采集就有出白页。
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关于我们|联系我们|DMCA|广告服务|小黑屋|手机版|Archiver|Github|网站地图|AdvertCN

GMT+8, 2026-11-20 17:14 , Processed in 0.137413 second(s), 24 queries , Gzip On.

Copyright © 2001-2026, AdvertCN

Proudly Operating in Hong Kong.

快速回复 返回顶部 返回列表