搜索引擎不抓取页面 服务器端的五个问题

1、错误的封禁 在百度的robots.txt的更新上，如果多次点击“检测并更新”就会出现时常可以更新，但是又时常无法更新的问题。如此一来：不应当被收录的东西，在robots.txt上禁止的被收录了，又删……

2021-09-09