AdvertCN - 广告中国

 找回密码
 立即注册

QQ登录

只需一步,快速开始

PropellerAds
Google-Bing-Mediago-Criteo开户
⚡️按条S5代理⚡️静态⚡️独享⚡️5G广告专用虚拟卡/U充值/高返点皇家代理IP⚡️#1性价比⚡️
Mediabuy⚡️玩家开户首选【鲁班跨境通-自助充值转账】FB/GG/TT❤️官方免费开户Affiliate 全媒体流量资源⚡️
Taboola/Outbrain /Bing⚡️一级代理开户投流-7*24h❤️人工在线【官方】❤️搜索套利买量投流开户独立站⚡️开户投放
⚡️AdsPower:安全不封号,高效自动化Google FB TK游戏代投⚡️E.PN 虚拟卡⚡️FB BM不限额,短id账单户
BINOM TRACKER 60% OFF!比Adplexity还好用的Spy工具ADPLEXITY + ADVERTCN7200W全球动态不重复住宅IP代理
虚拟信用卡+独立站收款全球虚拟卡, 支持U充值各种主页、账单户、BM户(优势)⚡️TikTok企业户,bm户,账单户
IPCola原生住宅IP⚡️$1.8/条双ISP提供TK企业新户老户、谷歌新户老户PTM虚拟卡[全新卡BIN+高返点]FB虚拟卡⚡️消费越多返现越多
FB稳定代理/住宅IP/ADV50打五折 FB个号1块一个寻找顶级电商?AdsBranded等你!TK老户/国内外端口/预审/加白
SX.ORG 高质量代理⚡235+ 地区GG,FB,TK, 欧美源头, 欢迎合作广告位出租8500万高质量住宅IP,助力各种需求
虚拟卡返佣1%,国内持牌机构   
查看: 26625|回复: 23

[吐槽] 网站没有流量,爬虫的到是不少

[复制链接]

6

主题

200

广告币

239

积分

初级会员

Rank: 2

积分
239
发表于 2020-9-28 19:43:03 | 显示全部楼层 |阅读模式
回复

使用道具 举报

79

主题

4026

广告币

5789

积分

版主

Rank: 7Rank: 7Rank: 7

积分
5789

社区QQ达人

发表于 2020-9-28 20:05:36 | 显示全部楼层
你这个是防爬的吧?关注内容,不用关注太多这些东西吧

点评

还是需要的。。。。服务的资源,绝大部分都给无量爬虫占据了。。。。 没事的时候,设置一个access log。。。就能看到了 爬虫太狠了  详情 回复 发表于 2020-9-28 21:04
回复 支持 反对

使用道具 举报

1651

主题

1万

广告币

2万

积分

管理员

宇宙无敌河马天神

Rank: 9Rank: 9Rank: 9

积分
27547

社区QQ达人

发表于 2020-9-28 21:04:15 | 显示全部楼层
建网站以后,很大一部分资源都给爬虫搞走了# R2 k7 V# ]9 X
3 C: y# H: C% C0 G2 W
我一般都是在cloudflare 的firewall 那里直接屏蔽爬虫,比你写nginx 规则要简单和省事的多

点评

要是爬内容的用谷歌的蜘蛛身份怎样破?防火墙怎样设置好点  详情 回复 发表于 2020-9-29 09:11
谢谢 河马  详情 回复 发表于 2020-9-29 08:55
学会提问的艺术, 从小处入手, 忌大而空
AdvertCN电报群

我最喜欢用的工具
7200W全球动态不重复住宅IP代理
回复 支持 反对

使用道具 举报

1651

主题

1万

广告币

2万

积分

管理员

宇宙无敌河马天神

Rank: 9Rank: 9Rank: 9

积分
27547

社区QQ达人

发表于 2020-9-28 21:04:58 | 显示全部楼层
朝阳风雨 发表于 2020-9-28 20:05
* n% q7 x. ~3 M. Y& s你这个是防爬的吧?关注内容,不用关注太多这些东西吧
6 y$ i8 m( E+ O- _3 J  c
还是需要的。。。。服务器的资源,绝大部分都给无量爬虫占据了。。。。
4 K) A# b3 {  n7 u2 G0 x" F# k6 B
5 r3 C9 @0 k0 F9 ?+ L$ I+ n没事的时候,设置一个access log。。。就能看到了3 {3 C! l! c1 N+ d( f! o' N

4 Y. ^. z& }# U2 x1 }- a; Z% K爬虫太狠了

点评

这样就没有收录了,更不好  详情 回复 发表于 2020-9-29 08:56
偷懒用虚拟主机的我 还是算了 对我访问没有啥影响  详情 回复 发表于 2020-9-28 21:06
学会提问的艺术, 从小处入手, 忌大而空
AdvertCN电报群

我最喜欢用的工具
7200W全球动态不重复住宅IP代理
回复 支持 反对

使用道具 举报

79

主题

4026

广告币

5789

积分

版主

Rank: 7Rank: 7Rank: 7

积分
5789

社区QQ达人

发表于 2020-9-28 21:06:38 | 显示全部楼层
河小马 发表于 2020-9-28 21:04: M! k- |- W' a; |, e3 [
还是需要的。。。。服务器的资源,绝大部分都给无量爬虫占据了。。。。' r' w9 R# N1 I7 @

) _; U: w5 ?  I3 y+ w* E3 d没事的时候,设置一个access log ...
1 B" j9 B9 l" P$ D4 E( p+ J3 z
偷懒用虚拟主机的我  还是算了 对我访问没有啥影响

点评

虚拟主机,一般都直接屏蔽了  详情 回复 发表于 2020-9-28 21:09
回复 支持 反对

使用道具 举报

1651

主题

1万

广告币

2万

积分

管理员

宇宙无敌河马天神

Rank: 9Rank: 9Rank: 9

积分
27547

社区QQ达人

发表于 2020-9-28 21:09:27 | 显示全部楼层
朝阳风雨 发表于 2020-9-28 21:06
3 }5 I4 l7 W$ h2 X. w6 u# r; R. L偷懒用虚拟主机的我  还是算了 对我访问没有啥影响
# N! H4 O4 s( d6 F' I& l- N
虚拟主机,一般都直接屏蔽了

点评

那就省事快捷了  详情 回复 发表于 2020-9-28 21:13
学会提问的艺术, 从小处入手, 忌大而空
AdvertCN电报群

我最喜欢用的工具
7200W全球动态不重复住宅IP代理
回复 支持 反对

使用道具 举报

79

主题

4026

广告币

5789

积分

版主

Rank: 7Rank: 7Rank: 7

积分
5789

社区QQ达人

发表于 2020-9-28 21:13:42 | 显示全部楼层
河小马 发表于 2020-9-28 21:09
6 k- O! x: G8 }0 X( M$ }虚拟主机,一般都直接屏蔽了
0 }( c/ {5 l) |0 h8 S& a7 y
那就省事快捷了
回复 支持 反对

使用道具 举报

6

主题

200

广告币

239

积分

初级会员

Rank: 2

积分
239
 楼主| 发表于 2020-9-29 08:55:25 | 显示全部楼层
河小马 发表于 2020-9-28 21:04* q6 N8 H4 u7 a5 |8 B8 x' }
建网站以后,很大一部分资源都给爬虫搞走了
. C" H: t! R9 B6 ^5 G0 v3 k
* h( z- Z0 e" t. P我一般都是在cloudflare 的firewall 那里直接屏蔽爬虫,比你写 ...
7 B1 F* Q) \! d3 {6 r- M) T" I
谢谢 河马
回复 支持 反对

使用道具 举报

23

主题

72

广告币

162

积分

初级会员

Rank: 2

积分
162
发表于 2020-9-29 08:56:57 | 显示全部楼层
河小马 发表于 2020-9-28 21:040 z5 x/ X3 y3 l( ]
还是需要的。。。。服务器的资源,绝大部分都给无量爬虫占据了。。。。
  g) ^* e1 X& M- ^+ G3 `2 M7 }7 i" x% y" U- M+ M! J  U& D
没事的时候,设置一个access log ...

9 Y3 d8 D! N( C$ n# C$ X这样就没有收录了,更不好

点评

爬的,我看主要都是php 路径的,关键我网站不是 php的呀  发表于 2020-9-29 09:27
回复 支持 反对

使用道具 举报

94

主题

2245

广告币

3179

积分

高级会员

Rank: 4

积分
3179

社区QQ达人

发表于 2020-9-29 09:05:14 | 显示全部楼层
强迫症表示, ~*  "(php|wget)" 不香么
回复 支持 反对

使用道具 举报

94

主题

2245

广告币

3179

积分

高级会员

Rank: 4

积分
3179

社区QQ达人

发表于 2020-9-29 09:11:36 | 显示全部楼层
河小马 发表于 2020-9-28 21:04* @% _$ A# F8 b7 M- J
建网站以后,很大一部分资源都给爬虫搞走了
6 I; C& A% }3 w) @$ z( W4 _' d
8 ?( C4 M: Z( R; B  x$ V我一般都是在cloudflare 的firewall 那里直接屏蔽爬虫,比你写 ...
2 K! g$ h3 e" U  S
要是爬内容的用谷歌的蜘蛛身份怎样破?防火墙怎样设置好点

点评

CF的防火墙,自动默认允许世界知名的搜索引擎的蜘蛛  详情 回复 发表于 2020-9-29 16:12
回复 支持 反对

使用道具 举报

23

主题

72

广告币

162

积分

初级会员

Rank: 2

积分
162
发表于 2020-9-29 09:32:01 | 显示全部楼层
我才不搞这些花里胡哨的屏蔽爬虫,一不小心搞降权了就亏大了,配置不够就升级,有投入才有收入
回复 支持 反对

使用道具 举报

584

主题

2061

广告币

3819

积分

金牌会员

Rank: 6Rank: 6

积分
3819
发表于 2020-9-29 11:03:42 | 显示全部楼层
用的是VPS,不懂代码,网站内容也被能去不少,干着急,没办法。
回复 支持 反对

使用道具 举报

15

主题

676

广告币

1027

积分

禁止访问

QQ:1582939837

积分
1027
发表于 2020-9-29 11:52:23 | 显示全部楼层
河小马 发表于 2020-9-28 21:049 U+ C4 S0 S  t7 g% t" K
建网站以后,很大一部分资源都给爬虫搞走了
% A3 @# M; H! v, v0 P+ J# q6 N& D+ f7 t, _# E
我一般都是在cloudflare 的firewall 那里直接屏蔽爬虫,比你写 ...
+ V6 W8 k2 N. Q. w; r5 M
请问cloudflare 的firewall ,这种功能是免费的还是PRO收费版本?
% G: w4 l5 [8 v3 ]% D
5 K9 I, u. a+ @8 A) J1 J& y7 A- ]如果是免费的,可以知道下具体怎么操作么?

点评

免费的 CF的文档写的很清楚,自己看下文档就好了  详情 回复 发表于 2020-9-29 16:09
代收联盟款(PP或ACH)。物美价廉主机。 ieasyweb.com 着陆页设计。weebly pro版月费仅官网半价。aivoicer.com文字转语音。ufoforest.com低成本网店
回复 支持 反对

使用道具 举报

1651

主题

1万

广告币

2万

积分

管理员

宇宙无敌河马天神

Rank: 9Rank: 9Rank: 9

积分
27547

社区QQ达人

发表于 2020-9-29 16:09:42 | 显示全部楼层
加拿大华人 发表于 2020-9-29 11:522 I9 G0 |. L& E" M2 U" ?5 C- z4 [! @
请问cloudflare 的firewall ,这种功能是免费的还是PRO收费版本?. w* k: h% r# v) o

, T, Q1 [' t$ z如果是免费的,可以知道下具体怎么操 ...
/ q6 \6 Z, z% @1 I3 [2 b
免费的
+ o' Y$ `* e* d; F1 D+ G3 v" W% \  ]
CF的文档写的很清楚,自己看下文档就好了
学会提问的艺术, 从小处入手, 忌大而空
AdvertCN电报群

我最喜欢用的工具
7200W全球动态不重复住宅IP代理
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关于我们|联系我们|DMCA|广告服务|小黑屋|手机版|Archiver|Github|网站地图|AdvertCN

GMT+8, 2026-2-1 22:09 , Processed in 0.058101 second(s), 15 queries , Gzip On, MemCache On.

Copyright © 2001-2023, AdvertCN

Proudly Operating in Hong Kong.

快速回复 返回顶部 返回列表