Вряд ли для кого то будет откровением что при неоднократном выполнении каких то повторяющиеся действий в конце концов хочется их автоматизировать чтобы высвободить время под более интересные занятия. Начальный сбор информации при проведении пентеста, в частности пассивный сбор информации, является одним из обязательных этапов, и хоть и дает простор для творчества, но по большей части представляет собой набор рутинных действий. К тому же автоматизация исключает возможность пропустить какие то проверки, что тоже не маловажно.

Один из этапов пассивного сбора информации обычно включает в себя работу с поисковыми системами с такими как google, yandex, bing  и другие. В роли искомой информации обычно выступают e-amil/имена, офисные документы, домены и многое другое.

Есть утилиты с подобной функциональность (metagoofil, Goofile, theHarvester и т.д.), но они обладают конкретным функционалом, под конкретную функцию — поиск файлов, почтовых адресов, доменов. Хочется более гибкого инструмента, вроде patator, но для работы с поисковыми системами. В подобную категорию по моему мнению попадает утилита SCANNER-INURLBR.

SCANNER-INURLBR это утилита для расширенного поиска с использованием распространенных поисковых систем. Так же позволяет проводить различные действия или проверки над полученными результатами.

К сожалению автор прекратил работу над проектом в прошлом году. Этой статьей я бы хотел привлечь внимание к этому инструменту. И может быть кто то форкнет проект или запустит своей проект.

Что такое дорки.

Дорки — это специальные операторы используемые поисковыми системами с помощью которых можно сузить поиск до интересующего нас контента. Эти операторы выполняю роль фильтра. Объединяя их в цепочки можно добиваться интересных результатов. Для примера рассмотрим некоторые из них.

SITE:
Поиск только на определенном сайте включая поддомены.
Запрос: site:defcon.ru

INURL:
Поиск будет проводиться только в адресе страницы.
Запрос: site:defcon.ru inurl:security

INTEXT:
Поиск только в тексте документа игнорируя адреса, хеадеры, титлы и т.д.
Запрос: intext:» как защитить сайт от хакерских атак с использованием opensource»

FILETYPE: или EXT:
Поиск по типу или расширению файла. Можно искать фотки, архивы, текстовые файлы, логи, базы данных и прочее.
Пример: site:defcon.ru filetype:pdf

Установка.
Установка не должна вызывать затруднений:
git clone https://github.com/googleinurl/SCANNER-INURLBR.git
apt-get install curl libcurl3 libcurl3-dev php5 php5-cli php5-curl

Примеры использования.

Найдем pdf файлы на все сайтах и подсайтах домена pentestit.ru.

Используемые дорк — ‘site:pentestit.ru ext:pdf’, в качестве поисковой системы будет использовать google и сохраним результаты в файл pdf.txt.

php inurlbr.php —dork ‘site:pentestit.ru ext:pdf’ -s pdf.txt -q 1,6 -t 2

И еще пример с поиском почтовых адресов:

php inurlbr.php —dork «*@pentestit.ru» -q 1,2,3,6 -s mail.txt -m
cat output/mail.txt | egrep ‘@pentestit.ru’

Еще много примеров использования можно посмотреть запустив команду:  ./inurlbr.php —help, или в официальном репозитории https://github.com/googleinurl/SCANNER-INURLBR.