Вряд ли для кого то будет откровением что при неоднократном выполнении каких то повторяющиеся действий в конце концов хочется их автоматизировать чтобы высвободить время под более интересные занятия. Начальный сбор информации при проведении пентеста, в частности пассивный сбор информации, является одним из обязательных этапов, и хоть и дает простор для творчества, но по большей части представляет собой набор рутинных действий. К тому же автоматизация исключает возможность пропустить какие то проверки, что тоже не маловажно.
Один из этапов пассивного сбора информации обычно включает в себя работу с поисковыми системами с такими как google, yandex, bing и другие. В роли искомой информации обычно выступают e-amil/имена, офисные документы, домены и многое другое.
Есть утилиты с подобной функциональность (metagoofil, Goofile, theHarvester и т.д.), но они обладают конкретным функционалом, под конкретную функцию — поиск файлов, почтовых адресов, доменов. Хочется более гибкого инструмента, вроде patator, но для работы с поисковыми системами. В подобную категорию по моему мнению попадает утилита SCANNER-INURLBR.
SCANNER-INURLBR это утилита для расширенного поиска с использованием распространенных поисковых систем. Так же позволяет проводить различные действия или проверки над полученными результатами.
К сожалению автор прекратил работу над проектом в прошлом году. Этой статьей я бы хотел привлечь внимание к этому инструменту. И может быть кто то форкнет проект или запустит своей проект.
Что такое дорки.
Дорки — это специальные операторы используемые поисковыми системами с помощью которых можно сузить поиск до интересующего нас контента. Эти операторы выполняю роль фильтра. Объединяя их в цепочки можно добиваться интересных результатов. Для примера рассмотрим некоторые из них.
SITE:
Поиск только на определенном сайте включая поддомены.
Запрос: site:defcon.ru
INURL:
Поиск будет проводиться только в адресе страницы.
Запрос: site:defcon.ru inurl:security
INTEXT:
Поиск только в тексте документа игнорируя адреса, хеадеры, титлы и т.д.
Запрос: intext:» как защитить сайт от хакерских атак с использованием opensource»
FILETYPE: или EXT:
Поиск по типу или расширению файла. Можно искать фотки, архивы, текстовые файлы, логи, базы данных и прочее.
Пример: site:defcon.ru filetype:pdf
Установка.
Установка не должна вызывать затруднений:
git clone https://github.com/googleinurl/SCANNER-INURLBR.git
apt-get install curl libcurl3 libcurl3-dev php5 php5-cli php5-curl
Примеры использования.
Найдем pdf файлы на все сайтах и подсайтах домена pentestit.ru.
Используемые дорк — ‘site:pentestit.ru ext:pdf’, в качестве поисковой системы будет использовать google и сохраним результаты в файл pdf.txt.
php inurlbr.php —dork ‘site:pentestit.ru ext:pdf’ -s pdf.txt -q 1,6 -t 2
И еще пример с поиском почтовых адресов:
php inurlbr.php —dork «*@pentestit.ru» -q 1,2,3,6 -s mail.txt -m
cat output/mail.txt | egrep ‘@pentestit.ru’
Еще много примеров использования можно посмотреть запустив команду: ./inurlbr.php —help, или в официальном репозитории https://github.com/googleinurl/SCANNER-INURLBR.
У второго и третьего примера картинка одна и та же
Ничего в готовых решений не имею, но можно ведь и проще: http://pastebin.com/ydgBrHmu