【如内容违法或虚假,请联系上述邮件删除】【纵横数据小编Alice】robots.txt的写法
(1)允许一切的robot访问
User-agent: *
Disallow:
或者
User-agent: *
Allow: /
或者建一个空文件”robots.txt”即可。
(2)仅遏止某个机器人访问您的网站,如Baiduspider。
User-agent: Baiduspider
Disallow: /
更多关于robots讨论,能够qq442780253,关注纵横数据Alice分享
全球效劳器租用|海外效劳器租用|网站建站一站式网络处置计划-纵横数据(关注老榕树网络旗下“网络思维”微信公众号:wlsw360 (每天都有好文章)
本帖如有虚假或违法,请联系邮箱删除,本社区删贴不收任何费用,欢迎举报。老榕树社区属老榕树网络旗下网站,旨在为老榕树用户提供创业咨询、网站建设技术交流、源码下载、提供各种实用工具。如有部分帖子涉及违法、虚假,请你第一时间与社区联系,把需要删除的社区链接提供给我们,我们核实之后,第一时间删除。邮箱:125175998@qq.com |