目录导航
自动化获取暗网站点信息 Dark Web Report + EyeWitness+ TorGhost +Docker
简介
Justin Seitz（推特账号@jms_dot_py）从事Python和OSINT研究工作，很早之前他就开始通过一个名为@Hunchly的推特账号，每天推送一些新发现的Tor网站站点，如下图所示：
点击“buff.ly”开头的短链接，会获取一XLSX文件（Justin分享到其Dropbox上的），这是一份最新发现的暗网上的站点清单，如下图所示：整理后的信息（示例）：
其中，上图中“A”列的“*.onion”数据是我们感兴趣的，接下来，计划以一种高效的方式评估一些这些web站点的运行状态。
Plan A：（Dark Web Report+Bash Shell）
首先将XLSX文件中“A”列的信息转存到一个文本文件中，这里我将其命名为 hunchly_dark.txt。
在Linux系统上，从一个Bash shell /终端窗口创建一个while循环，代码示例如下：
$ while read site; do firefox $site; done < hunchly_dark.txt
上述代码的作用是从hunchly_dark.txt文件中读取一行内容，并在Firefox浏览器中打开它，关闭浏览器后，脚本将从列表中读取下一行，重新使用浏览器打开一个新站点。
这种处理方式，对少量的站点有效，但是如果站点的数量很多，那么反复的启动和关闭Web浏览器，效率是很低下的。
Plan B：自动化（EyeWitness+TorGhost）
Chris Truncer（推特账号@ christruncer）开发了一款名为 EyeWitness（目击者）的工具，能够通过一个URL列表，自动化的查询URL对应网站的截图、RDP服务、Open VNC服务器，还能提供一些服务器头部的信息、甚至可以识别默认的凭据。
*注释：EyeWitness支持在Kali Linux系统上运行，作者还提供了通过Docker进行安装和使用方式，详情参见：https://github.com/christruncer/eyewitness
因此，接下来的操作步骤是：
- 将Hunchly 的XLSX文件移动到一个Kali Linux虚拟机（VM）里；
- 把XLSX文件中的Tor站点的信息（“A”列）提取出来，并存储到txt文本文件中；
- 在虚拟机中安装EyeWitness（详情参见https://github.com/christruncer/eyewitness）；
- 从命令行启动Tor；
- 使用EyeWitness执行下面的命令：
| $ ./EyeWitness.py –headless -f hunchly_dark.txt -d output_dir1 |
查看EyeWitness输出的HTML文件（截图如下），发生了错误，发送到Tor站点的请求不能被EyeWitness正确的解析。
原因是由于EyeWitness是通过访问净网的方式解析这些Tor主机的，因此需要找到一种方法，使得EyeWitness可以将这些请求发送给Tor。
TorGhost
这个时候，TorGhost就派上用场了，它是一个通过Tor网络路由所有连接的工具，适用于Kali Linux系统。
官方网站：http://www.khromozome.com/torghost-v2-0-with-instant-ip-switching/
安装方式：
# git clone https://github.com/susmithHCK/torghost.git
# cd torghost
# chmod +x install.sh
# ./install.sh
启动方式：
# sudo torghost start
完成上述操作后，再次运行之前的EyeWitness命令，顺利的获取到了文本中Tor站点的网站截图，示例如下：
Plan C：更加自动化（Python脚本和Docker容器）
上文中讲述了如何利用EyeWitness和TorGhost ，有效的获取hunchly在推特上更新的Tor站点的截图。但这个过程中，需要安装一些库，如果能够直接制作成Docker镜像，使用起来会更加方便！
首先，可以写一个脚本文件，用于自动化的读取XLSX文件中的Tor站点信息，网上已经有人这么做了。
Python脚本的GitHub地址：https://github.com/xme/toolbox/blob/master/xlsxtract.py
执行效果示例如下：
接下来，创建一个Docker容器，用于完成以下任务：
- 安装TorGhost，并连接到Tor网络
- 从XLSX文件中提取.onion URLs
- 通过EyeWitness获取这些URLs的截图
当然了，你可以在URLs中自由的添加你想要获取的站点的域名信息。
有位研究人员分享的一个已经创建好的Docker：
GitHub地址：https://github.com/xme/dockers/tree/master/torwitness
默认会解析/data目录下的XLSX文件，并提取其中的.onion URLs（这里支持自定义待解析的文件）。
利用该Docker容器可以很好的完成以下工作：
- 浏览暗网站点
- 执行侦察阶段的任务
- 狩猎
- 浏览攻击者的资源
运行效果如下图所示：
安全提示
在暗网上从随机的Web服务站点下载未知的内容可能会将不必要的信息存储在您个人或公司的计算机上，因此在阅读这篇文章或使用任何自动化技术之前，请确保您的所有操作都是本人自主选择的，并且已经做好了向当局回报所有下载行为的准备。
此文章来源于
http://www.ddosi.org/2017/10/30/dark/
2018年以前网站服务器的备份,当时决定不要了,删了所有东西,现在还原一下(有些图片挂了,永远找不回来了,sorry) from