通常像后台管理登录页面、会员登录与注册页面等不想让搜索引擎收录/抓取,怎么办?那办法之一就是通过robots.txt文件来实现。
Robots也称做爬虫协议,写法是robots.txt(不用写成Robots.txt),一定要放在网站根目录,其他目录无效。搜索引擎爬虫访问/抓取网站首先访问的就是robots.txt文件,其次才是index.html/index.php、网站目录等。网站通过robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。很多人知其一不知其二,懂得一些简单写法用法。但有些人仍然有所忽略,那就是涉及安全隐私的问题。