关于采集碰到cloudflare的403错误

大西瓜

7 w) H( I& a$ c  T5 M- v5 o/ i
6 {  \9 J' m" n* J3 N9 O之前一套采集规则可以正常运行，对方站点也套了cloudflare，但只需要把登陆过的cookies放进去就可以了。前段时间不行了，采集不到。用浏览器可以正常打开网页，但是用curl采集的时候，怎么样都会提示403错误，要输入验证码。请问这个是对方使用了WAF或者防爬虫的规则吗。这种情况，一般能解决吗~？

emilylove

你还能突破cloudflare的防火墙不成
想起他办法吧，比如换ip什么的

河小马

做为一个长期的CF付费用户，我觉得他是屏蔽了一些user agent
+ R& \  @  O" ^! B
- o% a( _( e7 d% y: h6 i应该不是IP的问题
& S9 N: B- P8 x& z# o8 J9 N
& z9 u2 h. J9 [" X+ P1 [, @) P你试试轮换user agent

大西瓜

河小马 发表于 2021-6-29 13:26
& w6 s% [% c5 p! A8 s5 B做为一个长期的CF付费用户，我觉得他是屏蔽了一些user agent
2 W3 Q- E8 }& W/ f; o
应该不是IP的问题

0 w- U7 j" x) L1 g' c/ h我用的就是自己浏览器的user agent，自己浏览器能正常访问的，也没有5秒验证。换了也没啥用。更改过这个agent,ip，判断不是简单的user agent问题。也不是Ip问题。这些我在不同国家的服务器都测试过。在想会不会对方启用了br压缩。我用chrome浏览器能直接打开。用IE9打开就会弹出验证码界面（还显示不出来那种）Please stand by, while we are checking your browser...

河小马

大西瓜 发表于 2021-6-29 14:20
我用的就是自己浏览器的user agent，自己浏览器能正常访问的，也没有5秒验证。换了也没啥用。更改过这个ag ...

! Y8 W- A: I. bCF 后台的WAF 限制里面，没有br压缩这个判断的选项
" @# k- Z4 o* m
3 f4 m, T4 i& ]  a6 V; G' m/ Z! p选项其实都挺简单的，你就只能一个一个的试
- C3 r, P5 z4 y7 S
% v  }/ w1 {1 D5 G我自己一般是限制user agent 和 ASN

sead

2 a: j' _! P3 g# I$ ^
之前用火车头碰到CF的特定规则会熄火，要专门写脚本转发后再采。
" |5 \0 p0 S2 Ghttps://stackoverflow.com/questi ... ile-urllib-does-not
CF对浏览器的访问特征做了锁定

newcb

还真遇到过这个问题，直接访问没有问题，用PHP采集就有出白页。