我有三个站点在同一个服务器上，有两个ip，其中一个站点加了SSL证书，也就是https
9 d: B; [/ R1 I5 h+ n- S- N0 r1 _5 G9 ]' {% y; A" ?* Y7 t' z
人工访问的时候，一切都是正常的。- W( a. M0 v) S* Q4 a; o
$ @2 u3 h9 @+ f, A! g
在google和bing的搜索结果中，其他两个没有加ssl证书的网站搜索结果里面，很多加了ssl的内容，但是域名还是他们自己的。
1 D5 Y9 q% P. r0 E& G' M
; ?& C, P8 Q7 p" x9 i比如站点A是加了SSL的，B，C没有加。在site:B.com和site:C.com的结果中，很多内容是来自A的，但是域名是B和C自己的，而且前面加了https1 W M) M$ r( [$ A& q2 k
, }" P" |3 b9 ^( i6 g" j1 n% X4 O
这个问题困扰我很久了，一切不知道怎么解决。问了digicert，他们否认是证书引起的。" y C' R7 K( m5 M
$ b* n, q0 }4 x* j5 Q" Z& m
一直没搞懂，为什么爬虫在爬B和C时，要去抓取A的内容。
2 Y |, B$ j' `
0 ]7 }! P' p% `0 M* N9 M大神给的建议吧，多谢
( ]' S5 }+ n1 l; X# I* k& K4 [$ U4 l0 s e2 I
6 {( X+ E. y+ ?, { |
发表于 2019-4-2 11:08:33
发表于 2019-4-8 13:20:58
楼主
发表于 2019-4-11 16:08:16
