来源:自学PHP网 时间:2015-04-17 12:00 作者: 阅读:次
[导读] 攻击目标之前,最重要的是收集信息,搜索引擎就可以自动爬取网站的内容,不过搜索引擎都要遵守robots协议(这个至于360搜索),robots.txt是网站管理创建的一个txt文件,告诉搜索引擎哪...
攻击目标之前,最重要的是收集信息,搜索引擎就可以自动爬取网站的内容,不过搜索引擎都要遵守robots协议(这个…至于360搜索…),robots.txt是网站管理创建的一个txt文件,告诉搜索引擎哪些文件需要被爬取、哪些文件不希望被爬取。搜索引擎的spider的大致工作过程为首先请求一个页面,然后分析这个页面,查找该页面连接到其他内容的链接,然后再请求,如此循环。 我们可以使用工具来自动抓取Web站点的内容,工作原理与spider技术大致相同,但是这些工具可不受robots的约束,它们还会根据robots中禁止的目录来进行爬取。spider工具可以爬取网站的文件和目录,也可以分析HTML表单,并且可以按照指定的规则,提交表单。 burp suite就是这样一款工具。界面如图: 右击burp suite拦截到的包,点击发送到spider,burp suite就可以自动爬取网站的目录,如截图: |
自学PHP网专注网站建设学习,PHP程序学习,平面设计学习,以及操作系统学习
京ICP备14009008号-1@版权所有www.zixuephp.com
网站声明:本站所有视频,教程都由网友上传,站长收集和分享给大家学习使用,如由牵扯版权问题请联系站长邮箱904561283@qq.com