找回密码
 立即注册

QQ登录

只需一步,快速开始

PropellerAds
⚡️按条S5代理⚡️静态⚡️独享⚡️5GMediabuy⚡️玩家开户首选【鲁班跨境通-自助充值转账】FB/GG/TT❤️官方免费开户
Affiliate 全媒体流量资源⚡️Taboola/Outbrain /Bing⚡️一级代理开户投流-7*24h❤️人工在线【官方】❤️搜索套利买量投流开户
独立站⚡️开户投放Google FB TK游戏代投⚡️E.PN 虚拟卡⚡️BINOM TRACKER 60% OFF!
比Adplexity还好用的Spy工具ADPLEXITY + ADVERTCN7200W全球动态不重复住宅IP代理全球虚拟卡, 支持U充值
【15 年团队 - 广告自动化系统、定制开发】【ActionKey】Meta API 桥接令牌尤里改 - FB 稳定投放【神盾 AI】Meta 广告资产防护 永久免费
FB 三不限源头 - 自助下户充值转款各种主页、账单户、BM户(优势)IPCola原生住宅IP⚡️$1.8/条双ISPTK加白户/二解户/FB海外户/GG老户
最大欧洲Nutra网盟BA找量 FB高权重耐操个号⚡️稳定过审联盟收款/海外资金下发/服贸结汇✔Taboola海外户源头
全球效果广告投放平台|Vertoz IngeniousPlexSX.ORG 住宅IP | 凭码ADVERT3免费领3GB广告位出租 
查看: 27401|回复: 23

[吐槽] 网站没有流量,爬虫的到是不少

[复制链接]

6

主题

203

广告币

242

积分

初级会员

积分
242
发表于 2020-9-28 19:43:03 | 显示全部楼层 |阅读模式
Binom_AdvertCN
回复

使用道具 举报

79

主题

4104

广告币

5871

积分

版主

积分
5871

社区QQ达人

发表于 2020-9-28 20:05:36 | 显示全部楼层
你这个是防爬的吧?关注内容,不用关注太多这些东西吧

点评

还是需要的。。。。服务的资源,绝大部分都给无量爬虫占据了。。。。 没事的时候,设置一个access log。。。就能看到了 爬虫太狠了  详情 回复 发表于 2020-9-28 21:04
回复 支持 反对

使用道具 举报

1680

主题

1万

广告币

2万

积分

管理员

宇宙无敌河马天神

积分
28380

社区QQ达人

发表于 2020-9-28 21:04:15 | 显示全部楼层
建网站以后,很大一部分资源都给爬虫搞走了
/ E5 e  d+ |- M+ d, R: j  E* h9 |8 x# M4 T
我一般都是在cloudflare 的firewall 那里直接屏蔽爬虫,比你写nginx 规则要简单和省事的多

点评

要是爬内容的用谷歌的蜘蛛身份怎样破?防火墙怎样设置好点  详情 回复 发表于 2020-9-29 09:11
谢谢 河马  详情 回复 发表于 2020-9-29 08:55
学会提问的艺术, 从小处入手, 忌大而空
AdvertCN电报群

我最喜欢用的工具
7200W全球动态不重复住宅IP代理
回复 支持 反对

使用道具 举报

1680

主题

1万

广告币

2万

积分

管理员

宇宙无敌河马天神

积分
28380

社区QQ达人

发表于 2020-9-28 21:04:58 | 显示全部楼层
朝阳风雨 发表于 2020-9-28 20:05$ ~0 Z3 R2 _! S- s! R
你这个是防爬的吧?关注内容,不用关注太多这些东西吧

6 |) G2 x* _5 q: D还是需要的。。。。服务器的资源,绝大部分都给无量爬虫占据了。。。。
- V3 W" u  U0 E  T) |; {6 }! W# p7 L* M+ M% {4 L  M" O
没事的时候,设置一个access log。。。就能看到了
+ z4 m  ^0 }: G9 @' h( k# \. W
爬虫太狠了

点评

这样就没有收录了,更不好  详情 回复 发表于 2020-9-29 08:56
偷懒用虚拟主机的我 还是算了 对我访问没有啥影响  详情 回复 发表于 2020-9-28 21:06
学会提问的艺术, 从小处入手, 忌大而空
AdvertCN电报群

我最喜欢用的工具
7200W全球动态不重复住宅IP代理
回复 支持 反对

使用道具 举报

79

主题

4104

广告币

5871

积分

版主

积分
5871

社区QQ达人

发表于 2020-9-28 21:06:38 | 显示全部楼层
河小马 发表于 2020-9-28 21:04
4 k! N$ ?# z# q# J7 @* z* `还是需要的。。。。服务器的资源,绝大部分都给无量爬虫占据了。。。。* G% Z4 _- R! t; o6 U4 V

6 o1 e+ Y* U2 x* r" r: P8 q没事的时候,设置一个access log ...
" l- n. w2 l% E
偷懒用虚拟主机的我  还是算了 对我访问没有啥影响

点评

虚拟主机,一般都直接屏蔽了  详情 回复 发表于 2020-9-28 21:09
回复 支持 反对

使用道具 举报

1680

主题

1万

广告币

2万

积分

管理员

宇宙无敌河马天神

积分
28380

社区QQ达人

发表于 2020-9-28 21:09:27 | 显示全部楼层
朝阳风雨 发表于 2020-9-28 21:06
3 k+ f9 e4 {  R; a偷懒用虚拟主机的我  还是算了 对我访问没有啥影响
4 y2 X6 X' f& R3 i+ |( M
虚拟主机,一般都直接屏蔽了

点评

那就省事快捷了  详情 回复 发表于 2020-9-28 21:13
学会提问的艺术, 从小处入手, 忌大而空
AdvertCN电报群

我最喜欢用的工具
7200W全球动态不重复住宅IP代理
回复 支持 反对

使用道具 举报

79

主题

4104

广告币

5871

积分

版主

积分
5871

社区QQ达人

发表于 2020-9-28 21:13:42 | 显示全部楼层
河小马 发表于 2020-9-28 21:09
% d# r; N7 D& b虚拟主机,一般都直接屏蔽了
' u6 u) ?+ K  K1 p( ^; h4 \
那就省事快捷了
回复 支持 反对

使用道具 举报

6

主题

203

广告币

242

积分

初级会员

积分
242
 楼主| 发表于 2020-9-29 08:55:25 | 显示全部楼层
河小马 发表于 2020-9-28 21:047 u5 P& ?, v$ [0 h  ~6 j
建网站以后,很大一部分资源都给爬虫搞走了
6 ~- N- z. U! r( K. R# {7 e/ _8 q" L3 }) _( m. z( X! e" x7 n: j; G* r
我一般都是在cloudflare 的firewall 那里直接屏蔽爬虫,比你写 ...

; w* v# N/ `% ^5 g0 g! }谢谢 河马
回复 支持 反对

使用道具 举报

23

主题

72

广告币

162

积分

初级会员

积分
162
发表于 2020-9-29 08:56:57 | 显示全部楼层
河小马 发表于 2020-9-28 21:048 \( G( T  S9 }4 ?$ k
还是需要的。。。。服务器的资源,绝大部分都给无量爬虫占据了。。。。
6 [$ t" n' \& v3 b7 T+ X9 W7 n/ l7 k8 b$ p7 N5 u
没事的时候,设置一个access log ...

) n% K5 b$ A& s' F. x1 L这样就没有收录了,更不好

点评

爬的,我看主要都是php 路径的,关键我网站不是 php的呀  发表于 2020-9-29 09:27
回复 支持 反对

使用道具 举报

95

主题

2350

广告币

3315

积分

金牌会员

积分
3315

社区QQ达人

发表于 2020-9-29 09:05:14 | 显示全部楼层
强迫症表示, ~*  "(php|wget)" 不香么
VPS性能不足?这里有便宜大内存+高频独享CPU VPS
回复 支持 反对

使用道具 举报

95

主题

2350

广告币

3315

积分

金牌会员

积分
3315

社区QQ达人

发表于 2020-9-29 09:11:36 | 显示全部楼层
河小马 发表于 2020-9-28 21:04$ s1 V! e( g- s! \7 i
建网站以后,很大一部分资源都给爬虫搞走了
/ N9 S' c* f9 V; d- a  F+ T3 \' J' }3 C# \( I1 \
我一般都是在cloudflare 的firewall 那里直接屏蔽爬虫,比你写 ...

: B# U8 j. \1 J3 c2 i" c8 T要是爬内容的用谷歌的蜘蛛身份怎样破?防火墙怎样设置好点

点评

CF的防火墙,自动默认允许世界知名的搜索引擎的蜘蛛  详情 回复 发表于 2020-9-29 16:12
VPS性能不足?这里有便宜大内存+高频独享CPU VPS
回复 支持 反对

使用道具 举报

23

主题

72

广告币

162

积分

初级会员

积分
162
发表于 2020-9-29 09:32:01 | 显示全部楼层
我才不搞这些花里胡哨的屏蔽爬虫,一不小心搞降权了就亏大了,配置不够就升级,有投入才有收入
回复 支持 反对

使用道具 举报

584

主题

2089

广告币

3844

积分

金牌会员

积分
3844
发表于 2020-9-29 11:03:42 | 显示全部楼层
用的是VPS,不懂代码,网站内容也被能去不少,干着急,没办法。
回复 支持 反对

使用道具 举报

15

主题

676

广告币

1027

积分

禁止访问

QQ:1582939837

积分
1027
发表于 2020-9-29 11:52:23 | 显示全部楼层
河小马 发表于 2020-9-28 21:04: \% o* K$ H( U0 t( E1 B6 Y
建网站以后,很大一部分资源都给爬虫搞走了
5 K" |0 p, l7 R) M/ J0 G! I. L+ }0 J/ A- l! o' ~" {8 J& Q
我一般都是在cloudflare 的firewall 那里直接屏蔽爬虫,比你写 ...
+ ?1 D* N$ j7 Z
请问cloudflare 的firewall ,这种功能是免费的还是PRO收费版本?
" F. Z& s5 e1 i5 m0 e4 c$ E6 Q" z/ c# L
如果是免费的,可以知道下具体怎么操作么?

点评

免费的 CF的文档写的很清楚,自己看下文档就好了  详情 回复 发表于 2020-9-29 16:09
代收联盟款(PP或ACH)。物美价廉主机。 ieasyweb.com 着陆页设计。weebly pro版月费仅官网半价。aivoicer.com文字转语音。ufoforest.com低成本网店
回复 支持 反对

使用道具 举报

1680

主题

1万

广告币

2万

积分

管理员

宇宙无敌河马天神

积分
28380

社区QQ达人

发表于 2020-9-29 16:09:42 | 显示全部楼层
加拿大华人 发表于 2020-9-29 11:52" a2 H0 A, ^3 {
请问cloudflare 的firewall ,这种功能是免费的还是PRO收费版本?
; u# u6 ?9 N+ y8 }/ Z, ]0 U* N4 s2 x" p
如果是免费的,可以知道下具体怎么操 ...

2 O1 n" Y) L4 e; S免费的3 ]: E9 C! Z. T' z
% n* u% Y( X0 S: D+ g, L
CF的文档写的很清楚,自己看下文档就好了
学会提问的艺术, 从小处入手, 忌大而空
AdvertCN电报群

我最喜欢用的工具
7200W全球动态不重复住宅IP代理
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关于我们|联系我们|DMCA|广告服务|小黑屋|手机版|Archiver|Github|网站地图|AdvertCN

GMT+8, 2026-11-20 14:13 , Processed in 0.101922 second(s), 25 queries , Gzip On.

Copyright © 2001-2026, AdvertCN

Proudly Operating in Hong Kong.

快速回复 返回顶部 返回列表