这种统计情况看不懂了，请教一下各位

joul

流量徒增，定情一看，几乎都是facebook过来的，但本人从来没做facebook链接，感觉像是蜘蛛爬过了，从来没遇到过这种情况，请教一下各位，是否该设置robots.txt删除facebook蜘蛛呢？


) H- d& y9 \9 S7 ?1 A! D1 M

河小马

万一 fb 也在准备做搜索呢？

雷克傻死

你那个统计是可以屏蔽robots的

joul

雷克傻死 发表于 2013-9-8 21:02
你那个统计是可以屏蔽robots的

& T; s6 R0 N' G! c7 Z多谢，是可以屏蔽robots，但有没有必要在网站上写robots.txt，换句话说，如果spider总是在爬的话，对站点有影响吗？

scut111

肯定有影响，spider把我的wp都搞的崩溃了/before