开源网络情报收割机Harvester-OSINT

theHarvester是什么

theHarvester是一种非常简单易用的工具，但功能强大且有效，旨在用于
渗透测试或红队参与的早期阶段。
使用它进行开源情报（OSINT）收集可帮助确定公司在Internet上的外部威胁情况。
该工具使用多个公共数据源收集电子邮件，名称，子域，IP和URL，这些公共数据源包括如下资源.

theHarvester情报来源

• 百度：百度搜索引擎-www.baidu.com
• 必应：Microsoft搜索引擎-www.bing.com
• bingapi：Microsoft搜索引擎，通过API（需要API密钥，请参见下文）。
• bufferoverun：从Rapid7的项目SONAR使用数据- www.rapid7.com/research/project-sonar/
• certspotter：证书检举显示器证书透明度日志- https://sslmate.com/certspotter/
• crtsh：科摩多证书搜索- https://crt.sh
• dnsdumpster：DNSdumpster搜索引擎- https://dnsdumpster.com
• dogpile：Dogpile搜索引擎-www.dogpile.com
• duckduckgo：DuckDuckGo搜索引擎-www.duckduckgo.com
• exalead：元搜索引擎-www.exalead.com/search
• github代码：GitHub代码搜索引擎（需要GitHub个人访问令牌，请参见下文。）- www.github.com
• google：Google搜索引擎（可选的Google dorking。）- www.google.com
• hackertarget：在线漏洞扫描和网络智能，帮助企业- https://hackertarget.com
• 猎人：猎人搜索引擎（需要API密钥，请参见下文。）- www.hunter.io
• intelx：Intelx搜索引擎（需要API密钥，请参见下文。）- www.intelx.io
• linkedin：Google搜索引擎，针对LinkedIn用户的特定搜索-www.linkedin.com
• linkedin_links：
• netcraft：互联网安全和数据挖掘-www.netcraft.com
• otx：AlienVault Open Threat Exchange- https://otx.alienvault.com
• pentesttools：强大的渗透测试工具，易于使用（需要一个API密钥，是不是免费的API访问权限） – https://pentest-tools.com/home
• Rapiddns：DNS查询工具，可轻松查询同一IP的子域或站点！https://rapiddns.io
• securityTrails：Security Trails搜索引擎，世界上最大的历史DNS数据存储库
  （需要API密钥，请参见下文。）- www.securitytrails.com
• shodan：Shodan搜索引擎，将从发现的主机中搜索端口和横幅-www.shodanhq.com
• spyse：网络研究工具为专业人士（需要一个API密钥。） – https://spyse.com
• sublist3r：渗透测试快速子域枚举工具- https://api.sublist3r.com/search.php?domain=example.com
• Suip：网络的研究工具，可以采取10分钟运行，但值得期待- https://suip.biz
• threatcrowd：开源威胁情报- www.threatcrowd.org
• threatminer：数据挖掘的威胁情报- https://www.threatminer.org/
• trello：搜索trello面板（使用Google搜索。）
• twitter：与特定域相关的Twitter帐户（使用Google搜索。）
• URLScan的：一种是一个网址和网站扫描网页沙盒- https://urlscan.io
• vhost：Bing虚拟主机搜索
• virustotal：virustotal.com域搜索
• yahoo：Yahoo搜索引擎
• 所有：

需要API密钥的模块：

可以在以下位置找到设置API密钥的文档-https://github.com/laramies/theHarvester/wiki/Installation#api-keys

• bing
• github
• hunter
• intelx
• pentesttools
• securityTrails
• shodan
• spyse

theHarvester下载地址

①雨苁网盘 https://w.ddosi.workers.dev/github/theHarvester/
② GitHub theHarvester

theHarvester安装方法

①使用kali安装theHarvester

使用Harvester的最简单方法是使用Kali Linux。
确保您使用的是最新版本。
命令只需键入：theHarvester -h 您就可以开始使用了！

xss@xss:~$ theHarvester -h

*******************************************************************
*  _   _                                            _             *
* | |_| |__   ___    /\  /\__ _ _ ____   _____  ___| |_ ___ _ __  *
* | __|  _ \ / _ \  / /_/ / _` | '__\ \ / / _ \/ __| __/ _ \ '__| *
* | |_| | | |  __/ / __  / (_| | |   \ V /  __/\__ \ ||  __/ |    *
*  \__|_| |_|\___| \/ /_/ \__,_|_|    \_/ \___||___/\__\___|_|    *
*                                                                 *
* theHarvester 3.1.0                                         *
* Coded by Christian Martorella                                   *
* Edge-Security Research                                          *
* [email protected]                                   *
*                                                                 *
******************************************************************* 

 
usage: theHarvester [-h] -d DOMAIN [-l LIMIT] [-S START] [-g] [-p] [-s] [-v] [-e DNS_SERVER]
                    [-t DNS_TLD] [-n] [-c] [-f FILENAME] [-b SOURCE]

theHarvester is used to gather open source intelligence (OSINT) on a company or domain.

optional arguments:
  -h, --help            show this help message and exit
  -d DOMAIN, --domain DOMAIN
                        company name or domain to search
  -l LIMIT, --limit LIMIT
                        limit the number of search results, default=500
  -S START, --start START
                        start with result number X, default=0
  -g, --google-dork     use Google Dorks for Google search
  -p, --port-scan       scan the detected hosts and check for Takeovers (21,22,80,443,8080)
  -s, --shodan          use Shodan to query discovered hosts
  -v, --virtual-host    verify host name via DNS resolution and search for virtual hosts
  -e DNS_SERVER, --dns-server DNS_SERVER
                        DNS server to use for lookup
  -t DNS_TLD, --dns-tld DNS_TLD
                        perform a DNS TLD expansion discovery, default False
  -n, --dns-lookup      enable DNS server lookup, default False
  -c, --dns-brute       perform a DNS brute force on the domain
  -f FILENAME, --filename FILENAME
                        save the results to an HTML and/or XML file
  -b SOURCE, --source SOURCE
                        baidu, bing, bingapi, certspotter, crtsh, dnsdumpster, dogpile, duckduckgo,
                        github-code, google, hunter, intelx, linkedin, linkedin_links, netcraft, otx,
                        securityTrails, spyse(disabled for now), threatcrowd, trello, twitter, vhost,
                        virustotal, yahoo, all

②使用Docker安装theHarvester

git clone https://github.com/laramies/theHarvester 
cd theHarvester
docker build -t theharvester
docker run theharvester -h 

③从源进行安装（无Pipenv）

确保您使用的是Python3.7 +

$ ~ > git clone https://github.com/laramies/theHarvester 
$ ~ > cd theHarvester

If developing do:
    $ ~ > python3 -m pip install -r requirements/dev.txt
Else:
    $ ~ > python3 -m pip install -r requirements/base.txt

$ ~ > python3 theHarvester.py -h  

④从源进行安装（有Pipenv）

git clone https://github.com/laramies/theHarvester 
cd theHarvester
python3 -m pip install pipenv
pipenv install 
pipenv shell
python3 theHarvester.py -h

API密钥

如果您想使用api，请确保编辑api-keys.yaml
api-keys.yml文件（如果使用setup.py或在kali中安装）位于/etc/theHarvester下，否则，如果已克隆git，则位于根目录中。

Harvester项目地址

GitHub https://github.com/laramies/theHarvester

ReconSpider-开源情报搜集(OSINT)框架