目录导航
Burp Suite 专业版 2022.2.3 使Burp Scanner的爬虫在用于静态或无状态站点时速度提高了 6 倍至 9 倍。这可以帮助您比以前更快地执行自动侦察。确保您使用的是最新版本的 Burp Suite Professional – 并在创建新的 Burp Scanner 任务 时选择“最快”抓取策略，以查看它的实际效果。
要在 Burp Suite Professional 中访问 Burp Scanner 的抓取策略，请转到Dashboard，单击New scan按钮，然后单击Scan configuration > New … > Crawling > Crawl Optimization > Crawl strategy。
Crawler是什么?
当我们在 2018 年发布Burp Suite 2.0时，它带来了很多变化。其中最重要的是用全新的爬虫替换了古老的蜘蛛工具。这意味着测试的侦察阶段第一次可以与 Burp Scanner 完全集成。
爬虫比蜘蛛更适合现代网络的需求。即使在当今的动态、有状态和 JavaScript 繁重的应用程序上，它也足够智能地导航和执行侦察 – 我们正在不断开发这些功能。我们想介绍新改进的“最快”抓取策略。你可以称它为爬虫的“incy wincy”版本……
过度思考的问题
问题在于，并非您可能使用Burp Suite测试的每个 Web 应用程序都基于尖端技术。有很多网站缺乏上述任何复杂功能，而是使用良好的老式静态 HTML。
静态 HTML 站点并不是特别复杂 – 但对这些基本应用程序执行手动侦察仍然需要时间。虽然 Burp 的爬虫可以通过自动导航您的目标站点来帮助您，但在过去，它并不非常适合这种类型的简单静态应用程序。实际上，问题在于爬虫太聪明了，因为它本身就太聪明了——它想太多了。在测试中，我们发现爬行速度提高了 6 到 9 倍
正因为如此，一些 Burp 用户注意到爬虫在爬取静态站点时并不总是比原来的 Spider 快。虽然 Burp Scanner 的“最快”爬网策略针对缺乏状态功能的应用程序进行了优化，但我们知道在这种情况下可以从中获得更多性能。
作为2022 Burp Suite 路线图的一部分，我们一直在寻找各种方法来提高扫描速度 – 因此，我们一直在努力改善上述问题。因此，我们想介绍新的改进、精简的“最快”抓取策略。你可以称它为爬虫的“incy wincy”版本……
如果您阅读了 PortSwigger 扫描仪工程师 Tom Shelton-Lefley 撰写的深入探讨“ Web 应用程序制图：绘制 Burp Suite 的爬虫”，您就会知道自动导航复杂的现代 Web 应用程序绝非易事。正因为如此，爬虫必须做一些相当繁重的工作。
在分析爬虫对基本静态站点的操作时，我们可以看到一个进程特别阻碍了更快的爬取。这是允许 Burp 的爬虫导航有状态应用程序的过程 – 了解到达页面所采用的路径很重要 – 但当状态不是问题时不需要。
有状态的应用程序架构意味着从一个页面改变状态可以很容易地改变您在打开不同页面时发现的内容。将商品添加到购物车就是这种状态变化的一个很好的例子。这意味着对于一个有状态的应用程序，Burp 的爬虫需要知道它为到达某个状态的页面所采取的操作。
但是当处理一个没有状态的应用程序时，这个问题就变得无关紧要了。这意味着我们可以从 Burp Scanner 的“最快”抓取策略中删除这个过程。由于 Burp Scanner 不再关心应用程序的状态，它能够更快地抓取和扫描漏洞——在此过程中发出的请求更少。
对新策略进行基准测试——它的速度有多快？
Burp Suite 的文档是一些完全静态内容的一个很好的例子。虽然其神圣的页面中包含丰富的知识，但在功能方面肯定没有任何革命性的进展。出于这个原因，它成为衡量新“最快”抓取策略的一个很好的基准。
当你这样做时，结果简直令人震惊。在测试中，我们发现抓取速度提高了 6 倍到 9 倍，这取决于 Burp 的浏览器是否启用。（Burp 的浏览器可以抓取使用 JavaScript 在客户端构建页面的应用程序 – 请参阅我们对浏览器驱动扫描的深入了解了解更多详细信息。）
简而言之：使用改进的“最快”策略
Burp Scanner 有五种抓取策略供您选择 – 从“最快”到“最完整”。一般来说，这些范围从适用于没有任何状态功能的完全静态站点（“最快”）到最适合有状态的复杂应用程序，包括现代单页应用程序（“最完整”）。
如果您要在使用 React 之类的库编写的单页应用程序上使用“最快”爬网策略，您可能会感到失望——因为它几乎找不到要测试的攻击面。同样，如果您要在没有状态功能的完全静态站点上使用“最完整”策略，您会发现自己等待的时间比完成爬网所需的时间要长得多。
关键是上下文。通过为您的目标应用程序选择正确的爬网策略，您可以最大化Burp Suite Professional使您能够交付的额外价值 – 更快地发现更多漏洞。有关更多信息，请参阅我们关于Burp Scanner 抓取策略的文档-如果您还不熟悉 Burp Scanner ，请查看我们的运行您的第一个 Burp Suite Pro 扫描的指南。
请配合如下工具使用
转载请注明出处及链接