我的网站似乎被人监控了？

luck · 发表于 2021-2-17 19:36:33

ronse 发表于 2021-2-17 12:37
2 s* B5 t9 l& Q0 y很多爬虫就是不带referer。可以用cloudflare的防火墙，根据ASN过滤掉一些廉价机房的IP，增加竞争对手监控 ...

谢谢！
爬虫就是可以做到直接输入精确网址对吗？在它之前没有其它的网址。对此一无所知，了解一下。

luck · 发表于 2021-2-17 20:02:20

爬虫是蜘蛛吗？
我的网站常来蜘蛛，见下图

187277752 · 发表于 2021-2-17 20:19:23

谷歌爬虫网址是固定的

ronse · 发表于 2021-2-17 20:28:18

luck 发表于 2021-2-17 19:36. a7 L$ x. F7 M
谢谢！
9 ?2 v6 P$ a% E A爬虫就是可以做到直接输入精确网址对吗？在它之前没有其它的网址。对此一无所知，了解一下。 ...

爬虫是所有网址都爬，只不过打开你新的文章时，不带referer而已

luck · 发表于 2021-2-18 08:07:46

就在刚刚又了表了一篇文章，记录显示，在不到一分钟的时间内，我在首页所的第二种情况，No referring link，再次精确输入我的不到一分钟的新网址进来了。它的IP还是那个IP.
显示器等信息没变，如下是它的信息Linux, Chrome 85.0, 1280x2000

pladavz · 发表于 2021-2-18 08:29:33

我不太懂，为什么你这么紧张？你这个站是干嘛的，违法哈？

yang。 · 发表于 2021-2-22 15:44:26

反爬吧，一般性策略就是过滤IP和行为，如果要深层次的可以参考企查查前端css/js 渲染变形等处理，可以过滤到很大一部分的爬虫，不过难度也高

		自动登录	找回密码
密码			立即注册

谷歌+Bing+TT+MSN官方代理	⚡️按条S5代理⚡️静态⚡️独享⚡️5G	需要代理IP?⚡️Proxysites.ai⚡️	指纹浏览器，就用AdsPower
Mediabuy⚡️玩家开户首选	【鲁班跨境通-自助充值转账】	FB/GG/TT❤️官方免费开户	Affiliate 全媒体流量资源⚡️
Taboola/Outbrain /Bing⚡️一级代理	*开户投流-724h❤️人工在线**	【官方】❤️搜索套利买量投流开户	独立站⚡️开户投放
FB BM不限额，短id账单户	E.PN 虚拟卡	DuoPlus专注打造跨境电商云手机	BINOM TRACKER 60% OFF!
比Adplexity还好用的Spy工具	ADPLEXITY + ADVERTCN	7200W全球动态不重复住宅IP代理	虚拟信用卡+独立站收款
全球虚拟卡, 支持U充值	Facebook 批量上广告	尤里改 - FB 稳定投放	免费黑五教程（持续更新、欢迎交流）
FB 三不限源头 - 自助下户充值转款	各种主页、账单户、BM户（优势）	⚡️个人户，bm户不限额，账单户	9Proxy ⚡️ $0.04/IP, 无限带宽
IPCola原生住宅IP⚡️$1.8/条双ISP	Google、Bing官方总代联盟流量开户	fb耐用号0.01一个	fb账号官方合作商
FB资源，账单户，分享户，国内一手	FB企业户BM户账单户源头	收FB代投工作室,收TrafficFactory账号	IPWO全球住宅代理⚡️免费测试⚡️
FB海外三不限-户源多费率低	PTM全球虚拟卡—进来交个朋友!	PTM虚拟卡⚡️费率透明⚡️额度随心	FB虚拟卡⚡️消费越多返现越多
虚拟卡 - Pay2.House	【找量】Blitzads独家单子	广告位出租	虚拟卡返佣1%，国内持牌机构

我的网站似乎被人监控了？

点评

本帖子中包含更多资源