AdvertCN - 广告中国

 找回密码
 立即注册

QQ登录

只需一步,快速开始

Adsterra China
 谷歌+Bing+TT+MSN官方代理 
⚡️按条S5代理⚡️静态⚡️独享⚡️5G⚡️AdsPower:安全不封号,高效自动化Mediabuy⚡️玩家开户首选
【鲁班跨境通-自助充值转账】FB/GG/TT❤️官方免费开户Affiliate 全媒体流量资源⚡️Taboola/Outbrain /Bing⚡️一级代理
开户投流-7*24h❤️人工在线【官方】❤️搜索套利买量投流开户独立站⚡️开户投放FB BM不限额,短id账单户
E.PN 虚拟卡BINOM TRACKER 60% OFF!比Adplexity还好用的Spy工具ADPLEXITY + ADVERTCN
7200W全球动态不重复住宅IP代理虚拟信用卡+独立站收款全球虚拟卡, 支持U充值Facebook 批量上广告
尤里改 - FB 稳定投放免费黑五教程(持续更新、欢迎交流)FB 三不限源头 - 自助下户充值转款各种主页、账单户、BM户(优势)
⚡️个人户,bm户不限额,账单户Google、Bing官方总代  联盟流量开户FB企业户BM户账单户源头海外CL企业户源头
PTM全球虚拟卡—进来交个朋友!PTM虚拟卡⚡️费率透明⚡️额度随心FB虚拟卡⚡️消费越多返现越多虚拟卡 - Pay2.House
【找量】BA独家Nutra单找量虚拟FB卡 ⚡️ 透明条件 国内外持牌,虚拟信用卡和收付款->Tyver SPY汇聚海量广告创意
广告位出租8500万高质量住宅IP,助力各种需求虚拟卡返佣1%,国内持牌机构 
查看: 26204|回复: 23

[吐槽] 网站没有流量,爬虫的到是不少

[复制链接]

6

主题

200

广告币

239

积分

初级会员

Rank: 2

积分
239
发表于 2020-9-28 19:43:03 | 显示全部楼层 |阅读模式
回复

使用道具 举报

79

主题

3973

广告币

5735

积分

版主

Rank: 7Rank: 7Rank: 7

积分
5735

社区QQ达人

发表于 2020-9-28 20:05:36 | 显示全部楼层
你这个是防爬的吧?关注内容,不用关注太多这些东西吧

点评

还是需要的。。。。服务的资源,绝大部分都给无量爬虫占据了。。。。 没事的时候,设置一个access log。。。就能看到了 爬虫太狠了  详情 回复 发表于 2020-9-28 21:04
回复 支持 反对

使用道具 举报

1632

主题

1万

广告币

2万

积分

管理员

宇宙无敌河马天神

Rank: 9Rank: 9Rank: 9

积分
27149

社区QQ达人

发表于 2020-9-28 21:04:15 | 显示全部楼层
建网站以后,很大一部分资源都给爬虫搞走了
5 o  F' E/ g* U5 g3 R5 j
7 B4 k2 a0 g; Q3 g9 J% p0 @  ^我一般都是在cloudflare 的firewall 那里直接屏蔽爬虫,比你写nginx 规则要简单和省事的多

点评

要是爬内容的用谷歌的蜘蛛身份怎样破?防火墙怎样设置好点  详情 回复 发表于 2020-9-29 09:11
谢谢 河马  详情 回复 发表于 2020-9-29 08:55
学会提问的艺术, 从小处入手, 忌大而空
AdvertCN电报群

我最喜欢用的工具
7200W全球动态不重复住宅IP代理
回复 支持 反对

使用道具 举报

1632

主题

1万

广告币

2万

积分

管理员

宇宙无敌河马天神

Rank: 9Rank: 9Rank: 9

积分
27149

社区QQ达人

发表于 2020-9-28 21:04:58 | 显示全部楼层
朝阳风雨 发表于 2020-9-28 20:05
! A2 i% G8 ?9 S$ S你这个是防爬的吧?关注内容,不用关注太多这些东西吧
0 p- F, d3 P7 h3 p# r
还是需要的。。。。服务器的资源,绝大部分都给无量爬虫占据了。。。。: i( {! U4 y1 Z
$ [: B9 Y; j5 Z
没事的时候,设置一个access log。。。就能看到了% h3 ]% V( G+ A9 K) l2 j7 L6 ]' K! J

$ Q& z  y5 O( A- Y9 L9 ^爬虫太狠了

点评

这样就没有收录了,更不好  详情 回复 发表于 2020-9-29 08:56
偷懒用虚拟主机的我 还是算了 对我访问没有啥影响  详情 回复 发表于 2020-9-28 21:06
学会提问的艺术, 从小处入手, 忌大而空
AdvertCN电报群

我最喜欢用的工具
7200W全球动态不重复住宅IP代理
回复 支持 反对

使用道具 举报

79

主题

3973

广告币

5735

积分

版主

Rank: 7Rank: 7Rank: 7

积分
5735

社区QQ达人

发表于 2020-9-28 21:06:38 | 显示全部楼层
河小马 发表于 2020-9-28 21:04
9 B) Y' A" r# z' c7 k. _; Y还是需要的。。。。服务器的资源,绝大部分都给无量爬虫占据了。。。。
; |& y( _' k8 N5 J$ V: \9 i6 `3 J4 P, {2 P" S6 Z5 D5 |
没事的时候,设置一个access log ...
& Q  M2 [! _$ i
偷懒用虚拟主机的我  还是算了 对我访问没有啥影响

点评

虚拟主机,一般都直接屏蔽了  详情 回复 发表于 2020-9-28 21:09
回复 支持 反对

使用道具 举报

1632

主题

1万

广告币

2万

积分

管理员

宇宙无敌河马天神

Rank: 9Rank: 9Rank: 9

积分
27149

社区QQ达人

发表于 2020-9-28 21:09:27 | 显示全部楼层
朝阳风雨 发表于 2020-9-28 21:06+ x6 M& n) a% m7 W1 t- ~4 `" k8 S
偷懒用虚拟主机的我  还是算了 对我访问没有啥影响
& y5 u6 U) v* k4 I! U: x4 K. }
虚拟主机,一般都直接屏蔽了

点评

那就省事快捷了  详情 回复 发表于 2020-9-28 21:13
学会提问的艺术, 从小处入手, 忌大而空
AdvertCN电报群

我最喜欢用的工具
7200W全球动态不重复住宅IP代理
回复 支持 反对

使用道具 举报

79

主题

3973

广告币

5735

积分

版主

Rank: 7Rank: 7Rank: 7

积分
5735

社区QQ达人

发表于 2020-9-28 21:13:42 | 显示全部楼层
河小马 发表于 2020-9-28 21:09
/ N, m$ D& c9 [" W虚拟主机,一般都直接屏蔽了

& _9 U# j, z" p1 T% R% E那就省事快捷了
回复 支持 反对

使用道具 举报

6

主题

200

广告币

239

积分

初级会员

Rank: 2

积分
239
 楼主| 发表于 2020-9-29 08:55:25 | 显示全部楼层
河小马 发表于 2020-9-28 21:04  N- D1 ~6 H% z
建网站以后,很大一部分资源都给爬虫搞走了" D# j2 J* B. S" d% R+ d* C  x

- e' d$ i8 o/ |7 O9 K3 e+ B& e" l7 u我一般都是在cloudflare 的firewall 那里直接屏蔽爬虫,比你写 ...
# N4 s* p  r4 j9 _5 }
谢谢 河马
回复 支持 反对

使用道具 举报

23

主题

72

广告币

162

积分

初级会员

Rank: 2

积分
162
发表于 2020-9-29 08:56:57 | 显示全部楼层
河小马 发表于 2020-9-28 21:04
9 N  ?7 Z8 Q2 u0 C0 o( r+ A还是需要的。。。。服务器的资源,绝大部分都给无量爬虫占据了。。。。2 S/ v$ h6 n- W) O$ b
* G- q4 }3 Q8 [2 {6 Y0 x
没事的时候,设置一个access log ...
9 V# e. ?( s6 J) ]8 i
这样就没有收录了,更不好

点评

爬的,我看主要都是php 路径的,关键我网站不是 php的呀  发表于 2020-9-29 09:27
回复 支持 反对

使用道具 举报

94

主题

2221

广告币

3149

积分

高级会员

Rank: 4

积分
3149

社区QQ达人

发表于 2020-9-29 09:05:14 | 显示全部楼层
强迫症表示, ~*  "(php|wget)" 不香么
回复 支持 反对

使用道具 举报

94

主题

2221

广告币

3149

积分

高级会员

Rank: 4

积分
3149

社区QQ达人

发表于 2020-9-29 09:11:36 | 显示全部楼层
河小马 发表于 2020-9-28 21:04
4 E8 w# Q( |6 r建网站以后,很大一部分资源都给爬虫搞走了! v' o5 [, ~( V& X2 f- m

$ a! p7 e1 M5 D6 C% D我一般都是在cloudflare 的firewall 那里直接屏蔽爬虫,比你写 ...
$ X; V& n* o' z+ T) T7 B
要是爬内容的用谷歌的蜘蛛身份怎样破?防火墙怎样设置好点

点评

CF的防火墙,自动默认允许世界知名的搜索引擎的蜘蛛  详情 回复 发表于 2020-9-29 16:12
回复 支持 反对

使用道具 举报

23

主题

72

广告币

162

积分

初级会员

Rank: 2

积分
162
发表于 2020-9-29 09:32:01 | 显示全部楼层
我才不搞这些花里胡哨的屏蔽爬虫,一不小心搞降权了就亏大了,配置不够就升级,有投入才有收入
回复 支持 反对

使用道具 举报

584

主题

2000

广告币

3762

积分

金牌会员

Rank: 6Rank: 6

积分
3762
发表于 2020-9-29 11:03:42 | 显示全部楼层
用的是VPS,不懂代码,网站内容也被能去不少,干着急,没办法。
回复 支持 反对

使用道具 举报

15

主题

676

广告币

1027

积分

禁止访问

QQ:1582939837

积分
1027
发表于 2020-9-29 11:52:23 | 显示全部楼层
河小马 发表于 2020-9-28 21:04
/ k: P2 [% Q  k. n- ~建网站以后,很大一部分资源都给爬虫搞走了( c: {2 c% h- G+ o% _

; s$ U/ O- ~. P0 n7 S我一般都是在cloudflare 的firewall 那里直接屏蔽爬虫,比你写 ...
' ^1 ^! I6 s4 J2 k
请问cloudflare 的firewall ,这种功能是免费的还是PRO收费版本?
2 F  h* H; A. p' [$ J3 M4 E7 w" c3 d$ E6 r
如果是免费的,可以知道下具体怎么操作么?

点评

免费的 CF的文档写的很清楚,自己看下文档就好了  详情 回复 发表于 2020-9-29 16:09
代收联盟款(PP或ACH)。物美价廉主机。 ieasyweb.com 着陆页设计。weebly pro版月费仅官网半价。aivoicer.com文字转语音。ufoforest.com低成本网店
回复 支持 反对

使用道具 举报

1632

主题

1万

广告币

2万

积分

管理员

宇宙无敌河马天神

Rank: 9Rank: 9Rank: 9

积分
27149

社区QQ达人

发表于 2020-9-29 16:09:42 | 显示全部楼层
加拿大华人 发表于 2020-9-29 11:52
3 L! T; A3 P/ L# U' z  j请问cloudflare 的firewall ,这种功能是免费的还是PRO收费版本?
% N9 @/ o  i2 c8 h* B  |
. C6 W: L' `) p4 }; F5 K如果是免费的,可以知道下具体怎么操 ...

7 _6 E( U4 ], ?6 P; e免费的
7 v2 k# ~; g; U4 r
7 v) \% h! o: r' a: E% P- ZCF的文档写的很清楚,自己看下文档就好了
学会提问的艺术, 从小处入手, 忌大而空
AdvertCN电报群

我最喜欢用的工具
7200W全球动态不重复住宅IP代理
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关于我们|联系我们|DMCA|广告服务|小黑屋|手机版|Archiver|Github|网站地图|AdvertCN

GMT+8, 2025-8-1 22:34 , Processed in 0.074740 second(s), 26 queries , Gzip On, MemCache On.

Copyright © 2001-2023, AdvertCN

Proudly Operating in Hong Kong.

快速回复 返回顶部 返回列表