OSINT подразумевает сбор и анализ общедоступной информации, в основном из сетевых источников. В разрезе кибербезопасности/пентеста OSINT чаще всего применяется для сбора публичных данных о компании, и это касается не только информации об адресах электронной почты ее сотрудников. Не менее интересной будет информация о:

• DNS-именах и IP-адресах;
• открытых портах;
• запущенных сетевых службах;
• наличии сервисов удаленного доступа;
• незащищенных приложениях и операционных системах;
• имеющихся механизмах безопасности.

К счастью, для проведения OSINT существует множество инструментов и сегодня мы рассмотрим некоторые их тех, которые помогут собрать информацию об организации и составить ее цифровой след.

Консольные инструменты

Nmap

Nmap («Network Mapper») — это утилита с открытым исходным кодом для исследования сети и проверки безопасности. Она была разработана для быстрого сканирования больших сетей, хотя прекрасно справляется и с единичными целями. Это нестареющая классика и первый инструмент, который используют при проведении пентеста. Его функционал довольно обширен, но в нашем случае от него потребуется только определение открытых портов, названия запущенных сервисов и их версии.

Cканировать нужно не только диапазон TCP портов, но также и UDP:

Эта информация поможет определить возможные точки входа в сетевой периметр организации.

Dmitry

Еще один консольный инструмент для поиска информации об интересующих хостах. Базовый функционал позволяет:

• собирать возможные поддомены;
• собирать адреса электронной почты;
• получить информацию о времени безотказной работы;
• выполнять сканирование TCP-портов (сканирует первые 150);
• производить поиск whois и многое другое.

Запуск инструмента рекомендуется производить с использованием всех доступных ключей:

• -i — Выполнить поиск whois по IP адресу хоста;
• -w — Выполнить поиск whois по имени домена хоста;
• -n — Получить информацию с Netcraft.com по хосту;
• -s — Выполнить поиск возможных поддоменов;
• -e — Выполнить поиск возможных адресов электронной почты;
• -p — Выполнить сканирование портов TCP на хосте;
• -f — Выполнить сканирование портов TCP на хосте и показать в отчёте фильтруемые порты;
• -b — Прочитать баннер полученный со сканируемого порта.

Функционал довольно обширный, но по возможностям и скорости обнаружения открытых портов все же уступает предыдущему инструменту, хотя это не мешает использовать их совместно. Все-таки, подобные вопросы требуют использования информации из разных источников для большей достоверности.

TheHarvester

TheHarvester — это целый фреймворк для сбора адресов электронной почты, имён поддоменов, виртуальных хостов, открытых портов/банеров и имён сотрудников компании из различных открытых источников. Позволяет производить как пассивный поиск по нескольким поисковым системам: google, yahoo, bing, shodan.io, googleplus, linkedin и т.д., так и активный, например, перебор имён поддоменов по словарю.

• -d — домен;
• -b — поисковая система;
• -l — количество поисковых запросов для обработки.

Recon-ng

Recon-ng тоже полнофункциональный фреймворк веб-разведки, написанный на Python. В комплекте поставляются независимые модули, взаимодействие с собственной базой данных, удобные встроенные функции, интерактивная помощь и т.д. Из-за схожести интерфейса Recon-ng с Metasploit-framework освоиться будет куда проще, если был опыт использования последнего. Установить все доступные модули можно командой: marketplace install all при первом запуске инструмента т.к. они могут изначально отсутствовать. Некоторые модули при работе взаимодействуют с API различных сервисов, таких как: Google, Github, Bing и т.д. для них необходимо будет получить API ключ и указать его командой keys add. Посмотреть список ключей можно командой keys list, где будет выведена таблица.

Для просмотра основных команд необходимо вызвать справку:

TiDos

TiDos — универсальная платформа, охватывающая всё от сбора начальных данных до анализа на уязвимости. Во время запуска программы необходимо ввести интересующий домен и используется ли SSL:

В своем арсенале TiDos имеет 5 разделов, которые позволяют выполнять как поиск информации о цели в открытых источниках, так и искать некоторые уязвимости. Для выбора достаточно указать соответствующий ID.

Так как нас интересует только сбор информации, то и рассматривать будем только один раздел, содержащий порядка 50 модулей. Здесь можно проводить как пассивный сбор данных:

• поиск адресов и прочую контактную информацию в Интернете;
• информацию о домене (Whois-информация);
• информацию о конфигурации DNS;
• список поддоменов;
• список подсетей и т.д.

так и активный:

• сбор баннеров;
• проверка файлов robots.txt и sitemap.xml;
• определение CMS;
• определение альтернативных версий сайта путем обращения с различным параметром User-Agent;
• поиск файла info.php и его возможных вариаций и т.д.

Онлайн сервисы

Использование онлайн-сервисов также один из возможных путей при проведении сбора данных о цели. Есть обобщенная база таких сервисов — это osintframework. Здесь собраны и отсортированы по разделам различные инструменты. К слову говоря, здесь также предоставлены ссылки не только на онлайн сервисы, но и на полезные инструменты и фреймворки, относящиеся к конкретному разделу, как например, TheHarvester или Recon-ng — для OSINT.

Поиск адресов электронной почты

hunter

Сервис довольно прост в использовании. На сайте вводим название комании, или ее домен, и получаем список адресов, которые удалось найти вместе с ресурсами, где эти данные фигурировали. Доступен также плагин для установки в браузере Mozilla Firefox, чтобы автоматизировать процесс сбора учетных записей.

mailshunt

Аналогиично — указываем домен компании и получаем список найденных учетных записей. Разные сервисы могут работать по разным алгоритмам, поэтому для получения более обширного списка рекомендуется совместно использовать несколько сервисов.

Whois

who.is

Вводим домен компании и в ответе получаем whois-информацию о домене, DNS-записи и т.д.

2whois

Помимо получения whois-информации сайт предоставляет для работы онлайн-сервисы nslookup, dig, анализ DNS и многое другое. Весьма полезный сервис.

Hackertarget

Сервис похож на предыдущий, но набор инструментов значительно расширен, что позволяет дополнительно использовать, например, сканеры уязвимостей OpenVAS, Nmap, Nikto, WhatWeb и т.д.

Google Dorks

Google Dork Queries (GDQ) — это набор запросов для выявления всего того, что должным образом не спрятано от поисковых роботов. Вот небольшой список команд, которые чаще всего используются:

• site — искать по конкретному сайту;
• inurl — указать на то, что искомые слова должны быть частью адреса страницы/сайта;
• intitle — оператор поиска в заголовке самой страницы;
• ext или filetype — поиск файлов конкретного типа по расширению.

Комбинируя различным образом команды для поиска можно найти практически все, вплоть до логина/пароля администратора.

Вывод

Сбор информации является важным этапом проведения тестирования на проникновение. Периодическое проведение разведки поможет обнаружить потенциальные недостатки сетевого периметра раньше, чем этим воспользуются злоумышленники.

О Pentestit

Тестирование на проникновение — одно из основных направлений деятельности нашей компании, коллектив которой представлен специалистами с опытом работы в сфере более 10 лет.

Специализируясь в области практической информационной безопасности, мы производим поиск уязвимостей на защищенных интернет-ресурсах, выступаем с докладами на международных форумах, разрабатываем программное обеспечение и уникальные лаборатории тестирования на проникновение «Test lab», в которых принимают участие профессионалы со всего мира.