本文共 863 字,大约阅读时间需要 2 分钟。
有些时候我们会遇到这样的困难:我们原本不想被搜索引擎收录的网站\地址却被搜索引擎“无情”的收录,遇到这样的情况时,我们如何阻止搜索引擎收录我们不想被收录的文件呢?
我们常用的办法有两个,一个是编辑robots.txt文件,另外一个是在不想被收录的页面头部放置META NAME="ROBOTS"标签。
所谓的robots.txt文件,是每一个搜索引擎到你的网站之后要寻找和访问的第一个文件,robots.txt是你对搜索引擎制定的一个如何索引你的网站的规则。通过这个文件,搜索引擎就可以知道在你的网站中,哪些文件是可以被索引的,哪些文件是被拒绝索引的。
编辑rebots.txt文件就不说了。聊聊页面头部添加meta的方式
SEO优化meta标签 name="robots" content="index,follow,noodp,noydir",我们这就来解释一下。
<meta name="ROBOTS" content="NOODP">
这些元标记控制搜索引擎如何抓取和索引页。 "robots"元标记指定的规则适用于所有搜索引擎。Google可以理解以下值(当指定多个值时,用逗号将它们分开):
当你完全省略此标记或当你指定content= "all"时,默认规则是"index, follow"。"作为一个说明,你现在也可以在你的页面首部通过"X-Robots-标签"HTTP头指令来指定这一信息。这特别有用,尤其是当你想微调抓取和索引诸如PDF、图片或其他类型的非HTML文件时。
转载地址:http://govws.baihongyu.com/