适用于WordPress的Robots协议规则

Robots协议也称为爬虫协议、爬虫规则、机器人协议等,也就是robots.txt,网站通过Robots协议告诉搜索引擎可以抓取哪些页面和不能抓取哪些页面,优化网站的收录和权重。

Robots协议规则

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-include/
Disallow: /wp-login*
Disallow: /?s=*

sitemap: https://域名/wp-sitemap-posts-post-1.xml

在网站根目录创建名为robots.txt的文件,把以上内容粘贴到txt文件内,再把内容的最后一条的“域名”修改成自己网站的域名并保存文件。

 收藏 (0) 打赏

您可以选择一种方式赞助本站

支付宝扫一扫赞助

微信钱包扫描赞助

除特别注明外,本站所有文章均基于CC-BY-NC-SA 4.0原创,转载请注明出处。
文章名称:《适用于WordPress的Robots协议规则》
文章链接:https://www.vvso.cn/xlbk/20096.html
分享到: 更多 (0)

热门文章

评论 抢沙发

切换注册

登录

忘记密码 ?

切换登录

注册