Grawler自动执行Google dork抓取任务工具

Grawler简介

Grawler是用PHP编写的工具，具有一个Web界面，该界面可自动执行使用Google dork的任务，抓取结果，并将其存储在文件中。
Grawler旨在通过网络界面自动执行使用Google dork的任务，主要思想是提供一个简单但功能强大的工具，任何人都可以使用，Grawler预先加载了以下功能。

特征

• 支持多种搜索引擎（Google,Yahoo，Bing）
• 随附包含dork的文件，到目前为止，该文件已分为三类。
  • 文件类型
  • 登录页面
  • SQL注入
  • My_dorks（此文件有意留为空白，以便用户添加自己的dork列表）
• 附带了自己的指南，以学习Google dork的艺术。

内置功能以使用代理（以防Google阻止您）

• 将所有已抓取的URL保存在一个文件中（名称需要在输入字段中以扩展名.txt指定）。
• Grawler可以在四种不同模式下运行
  • 自动模式：Grawler使用文件中存在的dork并存储结果。
  • 启用代理的自动模式
  • 手动模式：此模式适用于只想针对域测试单个dork的用户。
  • 启用代理的手动模式

Grawler设置

• 下载ZIP文件
• 下载XAMPP服务器
• 将文件夹移动到XAMPP中的htdocs文件夹
• 导航到http://localhost/grawler

演示视频

• 如何运行Grawler？
• 有几种使用proxy的方法，我个人使用过，因为它们提供了没有任何信用卡信息或任何东西的免费API调用，您甚至可以免费获得更多API调用。
  • 如何在Grawler中设置代理？
• 如何在手动模式下运行Grawler？

样品结果

验证码问题

有时，谷歌验证码可能是一个问题，因为谷歌正确地检测到该机器人并试图阻止该机器人，所以我已经尝试过以下几种方法来避免验证码：

• 在循环算法中使用不同的用户代理标头和IP。
  • 它可以工作，但是它提供了许多无用的垃圾URL，此外它还很慢，因此我删除了该功能。
• 使用免费的代理服务器
  • 免费代理服务器太慢，并且由于许多人使用这些免费代理服务器进行抓取而经常将其阻塞。
• 睡眠功能
  • 这在某种程度上可行，因此我已将其合并到代码中。
• Tor网络
  • 不，不是每次尝试都无法正常工作，但显示了一个漂亮的验证码，所以我也删除了此功能。

解决方法

• 我发现最好的解决方案是注册并使用代理服务,它以较少的垃圾URL产生了良好的效果,但有时可能很慢
• 使用VPN。
• 使用代理工具。

项目地址:

GitHub: github.com/A3h1nt/Grawler

下载地址:

雨苁网盘:
https://w.ddosi.workers.dev/github/Grawler/