搜索引擎是如何找到新网站的 – 服务器 – 前端

理论上来说，你只要网站放到了网络服务器上，有了公网的IPV4地址，哪怕你设置了robots.txt里边对所有搜索引擎封锁抓取，百度照样会抓取，只不过会在搜索结果摘要上提示由于robots禁止，不现实具体摘要而已，只要有IP地址，是可以反向搜索出该IP底下有多少个网站的，这些技术都非常容易的，何况对于百度这种牛逼的搜索引擎来说想抓取任何网站都是很轻松的事情。