我有三个站点在同一个服务器上,有两个ip,其中一个站点加了SSL证书,也就是https
8 G0 u3 Y8 Q! G, d
( U& H0 n N$ P6 `# j人工访问的时候,一切都是正常的。
4 ^" q0 b, P0 m4 t& A! {/ H7 p# q* Y n7 B, q% k) h
在google和bing的搜索结果中,其他两个没有加ssl证书的网站搜索结果里面,很多加了ssl的内容,但是域名还是他们自己的。 q) E0 G* H. `* A3 d& K2 e
$ o$ ^7 C& e1 i比如站点A是加了SSL的,B,C没有加。在site:B.com和site:C.com的结果中,很多内容是来自A的,但是域名是B和C自己的,而且前面加了https
# A; U4 C& o E Q/ `" E) ^# T; Y3 B5 B2 y
这个问题困扰我很久了,一切不知道怎么解决。问了digicert,他们否认是证书引起的。' A, S: E+ K" O8 I' P
' p- {7 X( ?3 G" P; O$ L9 n8 X
一直没搞懂,为什么爬虫在爬B和C时,要去抓取A的内容。
; M8 p! L0 R* Q+ Q/ F6 `% Y
# ^; k- E$ g3 c. J4 K大神给的建议吧,多谢
+ a: \2 ?( J( \' U- C1 ~, Y7 W+ M" R k, U5 m
, j+ i4 a; [ ? |