这种统计情况看不懂了，请教一下各位

joul

流量徒增，定情一看，几乎都是facebook过来的，但本人从来没做facebook链接，感觉像是蜘蛛爬过了，从来没遇到过这种情况，请教一下各位，是否该设置robots.txt删除facebook蜘蛛呢？
2 S* {+ Z8 w: h! O; d) |! N
# T; L8 n& g: ~* y/ Z6 `# y
' Q! N' G2 ?% A. r) P
0 e' e; x$ `$ v1 G& n+ \  G

河小马

万一 fb 也在准备做搜索呢？

雷克傻死

你那个统计是可以屏蔽robots的

joul

雷克傻死 发表于 2013-9-8 21:02
你那个统计是可以屏蔽robots的

多谢，是可以屏蔽robots，但有没有必要在网站上写robots.txt，换句话说，如果spider总是在爬的话，对站点有影响吗？

scut111

肯定有影响，spider把我的wp都搞的崩溃了/before