-
Robots有什么用应不应该设置
什么是robots呢？这是一个文本文件，是搜索引擎爬行网页要查看的第一个文件，你可以告诉搜索引擎哪些文件可以被查看哪些禁止，当搜索机器人(也叫搜索蜘蛛)访问一个站点时，它首先会检查根目录是否存在robots.txt，如果有就确定抓取范围，没有就按链接顺序抓取。 为何需要用robots.txt这个文件来告诉搜索机器人不要爬行我们的部分网页，比如后台管理文件、程序脚本、附件、数据库文件、编码文件、样式…- 17
- 0
Robots应不应该设置
-
￥优惠劵使用时效：无法使用使用时效：
之前
使用时效：永久有效优惠劵ID：×