我有三个站点在同一个服务器上,有两个ip,其中一个站点加了SSL证书,也就是https
9 d: B; [/ R1 I5 h+ n- S- N0 r1 _5 G9 ]' {% y; A" ?* Y7 t' z
人工访问的时候,一切都是正常的。- W( a. M0 v) S* Q4 a; o
$ @2 u3 h9 @+ f, A! g
在google和bing的搜索结果中,其他两个没有加ssl证书的网站搜索结果里面,很多加了ssl的内容,但是域名还是他们自己的。
1 D5 Y9 q% P. r0 E& G' M
; ?& C, P8 Q7 p" x9 i比如站点A是加了SSL的,B,C没有加。在site:B.com和site:C.com的结果中,很多内容是来自A的,但是域名是B和C自己的,而且前面加了https1 W M) M$ r( [$ A& q2 k
, }" P" |3 b9 ^( i6 g" j1 n% X4 O
这个问题困扰我很久了,一切不知道怎么解决。问了digicert,他们否认是证书引起的。" y C' R7 K( m5 M
$ b* n, q0 }4 x* j5 Q" Z& m
一直没搞懂,为什么爬虫在爬B和C时,要去抓取A的内容。
2 Y |, B$ j' `
0 ]7 }! P' p% `0 M* N9 M大神给的建议吧,多谢
( ]' S5 }+ n1 l; X# I* k& K4 [$ U4 l0 s e2 I
6 {( X+ E. y+ ?, { |