HTTPS的网页被收录的问题。
2014-09-24 浏览：150
如果不希望被收录，常规的做法是设置robots文件。
HTTPS主要的出发点是安全，并没有太多的考虑搜索引擎。从用户角度，很多采用了HTTPS的站点（尤其是网页），也是需要被搜索到的，比如支付宝、贝宝等。通常情况下，搜索引擎对这类网页并不做内容解析，而只是将URL进行索引。
IP地址的URL被收录，除了spider在机制上不完善之外，通常在站点设计上也有一些缺陷，一般情况下，这类问题是可以被规避的。
如果不希望被收录，常规的做法是设置robots文件。
HTTPS主要的出发点是安全，并没有太多的考虑搜索引擎。从用户角度，很多采用了HTTPS的站点（尤其是网页），也是需要被搜索到的，比如支付宝、贝宝等。通常情况下，搜索引擎对这类网页并不做内容解析，而只是将URL进行索引。
IP地址的URL被收录，除了spider在机制上不完善之外，通常在站点设计上也有一些缺陷，一般情况下，这类问题是可以被规避的。