robots.txt 是存放在网站根目录下的一个纯文本文件。虽然它的设置很简单,但是作用却很强大。它可以指定搜索引擎蜘蛛只抓取指定的内容,或者是禁止搜索引擎蜘蛛抓取网站的部分或全部内容。搜索引擎蜘蛛在抓取网站页面前,会先看一下robots.txt的内容,哪些页面可以抓取,哪些页面被站长禁止抓取。当然,是否遵守robots文件的规则就靠自觉了,某些坏蜘蛛就不遵守,站长是没办法的,比如采集内容的、克隆网站的。
robots文件还可以屏蔽网站内的死链接。屏蔽搜索引擎蜘蛛抓取站点内重复内容和页面。阻止搜索引擎索引网站隐私性的内容等。
因此建立robots.txt文件是很有必要的,网站中重复的内容、页面或者404信息过多,搜索引擎蜘蛛就会认为该网站价值较低,从而降低[文]对该网站的“印象分”,这就是我们经常听到的“降低权重”,这样网站的排名就不好了。
ZBlogphp博客的robots.txt文件的写法
User-agent: *Disallow: /zb_system/Disallow: search.phpDisallow: /zb_users/data/Disallow: /zb_users/language/Disallow: /zb_users/logs/Sitemap:https://www.lihAIblog.cn/sitemap.xml
注意:sitemap.xml 为网站的地图文件,可以在zblog应用中心搜索相关的插件。
robots.txt文件的安装与效验
robots.txt 文件应该放在网站根目录下,并且该文件是可以通过互联网进行访问的,否则是没有什么作用的。
安装方法:
1、本地新建‘文本文档’并命名为 "robots.txt"把上面的内容复制,保存即可。
2、把"robots.txt"文件上传到服务器的网站根目录即可。
rotots.txt文件效验:
可以通过百度搜索资源平台进行效验。
以上就是ZBlogPHP博客robots文件怎么写?的全部内容了,希望能够帮助到你,找建站教程记得来极光资源网!