robots协议_百度百科 (baidu.com)
如何查看robots协议?怎么写?-阿里云开发者社区 (aliyun.com)
玩转robots协议 - 卢松松博客 (lusongsong.com)
Robots协议(爬虫协议、机器人协议) - stardsd - 博客园 (cnblogs.com)
在网址中加上 /robots.txt 读取robots文件
在网址中加上 /f1ag_1s_h3re.php 读取flag