这种统计情况看不懂了，请教一下各位

joul

流量徒增，定情一看，几乎都是facebook过来的，但本人从来没做facebook链接，感觉像是蜘蛛爬过了，从来没遇到过这种情况，请教一下各位，是否该设置robots.txt删除facebook蜘蛛呢？

6 t" W" [7 G+ A9 i. g1 }5 E
% f+ S/ i3 m! a( t6 [9 m
% M5 O; s. _0 z

河小马

万一 fb 也在准备做搜索呢？

雷克傻死

你那个统计是可以屏蔽robots的

joul

雷克傻死 发表于 2013-9-8 21:02
( \1 h8 c- Y' v0 K你那个统计是可以屏蔽robots的

多谢，是可以屏蔽robots，但有没有必要在网站上写robots.txt，换句话说，如果spider总是在爬的话，对站点有影响吗？

scut111

肯定有影响，spider把我的wp都搞的崩溃了/before