爬虫模拟抓取工具
当前已使用756173次数
按 Ctrl+D 收藏本页面
添加到常用
分享该工具
请选择要模拟的爬虫,默认使用当前浏览器发起请求

已被 robots.txt 阻止

BaiduSpider
网站 pzwhjy.com 设置的 Robots 规则(查看 robots.txt)已阻止 BaiduSpider UA 抓取该 URL。你可以把 User Agent 切换成「当前浏览器」再查看该 URL 的抓取结果。

最近使用:

工具说明
爬虫模拟抓取工具,可以模拟百度蜘蛛、Googlebot、搜狗蜘蛛、360蜘蛛、Bingbot等常见搜索引擎的网页抓取行为。利用该工具抓取指定的网页,可以查看网页的响应头信息以及源文件内容。

扫描关注公众号