getallurls (gau) 抓取指定网站的urls

getallurls (gau) 抓取指定网站的urls

getallurls (gau) 简介

getallurls (gau) 从 AlienVault 的Open Threat Exchange、Wayback Machine、Common Crawl 和 URLScan 获取任何给定域的已知 URL。灵感来自 Tomnomnom 的waybackurls

用法:

例子:

printf example.com | gau
cat domains.txt | gau --threads 5
gau example.com google.com
gau --o example-urls.txt example.com
gau --blacklist png,jpg,gif example.com

要显示该工具的帮助,请使用以下-h标志:

gau -h
参数描述例子
–blacklist要跳过的扩展列表gau –blacklist ttf,woff,svg,png
–fc要过滤的状态代码列表gau –fc 404,302
–from根据日期获取 URL(格式:YYYYMM)gau –from 202101
–ft要过滤的 mime 类型列表gau –ft text/plain
–fp删除同一端点的不同参数gau –fp
–json输出为 jsongau –json
–mc要匹配的状态代码列表gau –mc 200,500
–mt要匹配的 mime 类型列表gau –mt text/html,application/json
–o将结果写入的文件名gau –o out.txt
–providers要使用的提供商列表(wayback、commoncrawl、otx、urlscan)gau –providers wayback
–proxy要使用的 http 代理(socks5:// 或 http://gau –proxy http://proxy.example.com:8080
–retriesHTTP 客户端重试gau –retries 10
–timeoutHTTP 客户端超时(秒)gau –timeout 60
–subs包括目标域的子域gau example.com –subs
–threads生成的工人数量gau example.com –threads
–to获取迄今为止的 URL(格式:YYYYMM)gau example.com –to 202101
–verbose显示详细输出gau –verbose example.com
–version显示 gau 版本gau –version

配置文件

$HOME/.gau.tomlgau 会自动在或 处查找配置文件%USERPROFILE%\.gau.toml。您可以指定选项,这些选项将用于 gau 的每次后续运行。通过命令行标志提供的任何选项都将覆盖配置文件中设置的选项。

示例配置文件可在此处找到

threads = 2
verbose = false
retries = 15
subdomains = false
parameters = false
providers = ["wayback","commoncrawl","otx","urlscan"]
blacklist = ["ttf","woff","svg","png","jpg"]
json = false

[urlscan]
  apikey = ""

[filters]
  from = ""
  to = ""
  matchstatuscodes = []
  matchmimetypes = []
  filterstatuscodes = []
  filtermimetypes = ["image/png", "image/jpg", "image/svg+xml"]

安装:

go

go install github.com/lc/gau/v2/cmd/gau@latest

来自 github:

git clone https://github.com/lc/gau.git; \
cd gau/cmd; \
go build; \
sudo mv gau /usr/local/bin/; \
gau --version;

从二进制文件安装:

您可以从发布页面下载预构建的二进制文件,然后将它们移动到您的 $PATH 中。

$ tar xvf gau_2.0.6_linux_amd64.tar.gz
$ mv gau /usr/bin/gau

使用Docker:

你可以像这样通过 docker 运行 gau:

docker run --rm sxcurity/gau:latest --help

您还可以使用以下命令构建 docker 镜像

docker build -t gau .

然后运行它

docker run gau example.com

请记住,管道命令(echo“example.com”| gau)不适用于 docker 容器

ohmyzsh 注意事项:

ohmyzsh 的git 插件gau有一个映射到命令的别名git add --update。这很成问题,导致此工具“gau”与 zsh 插件别名“gau”之间发生二进制冲突 ( )。目前有几个解决方法,可在此 Github问题git add --update中找到。

下载地址

项目地址

GitHub:
https://github.com/lc/gau

使用截图

getallurls (gau) 抓取指定网站的urls

转载请注明出处及链接

Leave a Reply

您的邮箱地址不会被公开。 必填项已用 * 标注