这种统计情况看不懂了，请教一下各位

joul · 发表于 2013-9-8 17:11:34

流量徒增，定情一看，几乎都是facebook过来的，但本人从来没做facebook链接，感觉像是蜘蛛爬过了，从来没遇到过这种情况，请教一下各位，是否该设置robots.txt删除facebook蜘蛛呢？

河小马 · 发表于 2013-9-8 20:23:14

万一 fb 也在准备做搜索呢？

雷克傻死 · 发表于 2013-9-8 21:02:57

你那个统计是可以屏蔽robots的

joul · 发表于 2013-9-9 11:37:37

雷克傻死发表于 2013-9-8 21:02
9 B' [9 G+ h V# Z X* s1 ^你那个统计是可以屏蔽robots的

多谢，是可以屏蔽robots，但有没有必要在网站上写robots.txt，换句话说，如果spider总是在爬的话，对站点有影响吗？

scut111 · 发表于 2013-9-9 12:10:56

肯定有影响，spider把我的wp都搞的崩溃了/before

		自动登录	找回密码
密码			立即注册

Google-Bing-Mediago-Criteo开户	⚡️按条S5代理⚡️静态⚡️独享⚡️5G	广告专用虚拟卡/U充值/高返点	皇家代理IP⚡️#1性价比⚡️
Mediabuy⚡️玩家开户首选	【鲁班跨境通-自助充值转账】	FB/GG/TT❤️官方免费开户	Affiliate 全媒体流量资源⚡️
Taboola/Outbrain /Bing⚡️一级代理	*开户投流-724h❤️人工在线**	【官方】❤️搜索套利买量投流开户	独立站⚡️开户投放
⚡️AdsPower:安全不封号,高效自动化	⚡️E.PN 虚拟卡⚡️	FB BM不限额，短id账单户	BINOM TRACKER 60% OFF!
比Adplexity还好用的Spy工具	ADPLEXITY + ADVERTCN	7200W全球动态不重复住宅IP代理	虚拟信用卡+独立站收款
全球虚拟卡, 支持U充值	Facebook 批量上广告	尤里改 - FB 稳定投放	免费黑五教程（持续更新、欢迎交流）
FB 三不限源头 - 自助下户充值转款	各种主页、账单户、BM户（优势）	⚡️TikTok企业户，bm户，账单户	提供TK企业新户老户、谷歌新户老户
PTM虚拟卡[全新卡BIN+高返点]	FB虚拟卡⚡️消费越多返现越多	最大欧洲Nutra网盟BA找量	优质住宅/移动代理/高匿名/高性能
TK白名单老户\|兼职广告可投	⚡比特指纹浏览器+云手机, 4.5折起	T3NZU:定义应用网盟新时代	FB个人号源头服务商
寻找顶级电商？AdsBranded等你！	TK老户/国内外端口/预审/加白	广告位出租	8500万高质量住宅IP，助力各种需求
虚拟卡返佣1%，国内持牌机构

[讨论] 这种统计情况看不懂了，请教一下各位

本帖子中包含更多资源

社区QQ达人