Представляю вашу вниманию вторую часть перевода OWASP Testing Guide.  В данной статье речь пойдет о сборе информации с помощью поисковых систем. 

Предыдущие статьи:

  1. Тестирование: введение и задачи

Сбор информации с помощью поисковых систем

Резюме

Существуют прямые и непрямые методы сбора информации. Прямые методы предусматривают поиск информации непосредственно на целевом веб-приложении. При непрямых методах информация собирается на форумах, новостных группах или каких-либо других сайтах.

Как только поисковый робот прошелся по страницам веб-приложения он индексирует их содержимое основываясь на соответствующих HTML тегах и атрибутах, например, теге, для предоставления наиболее соответствующих условиям поиска результатов. Если файл robots.txt не обновляется на протяжении существования веб-приложения и не используются специальные HTML мета теги, регулирующие поведение поисковых роботов, тогда могут быть проиндексированы страницы, которые владельцы веб-приложения хотели бы скрыть от всеобщего обозрения. Владельцы веб-приложений могут использовать ранее упомянутый robots.txt, HTML метатеги, аутентификацию и инструменты, предоставляемые поисковыми системами, для того чтобы в результатах поиска отображались только предусмотренные для этого страницы.

Поставленные задачи

Понять какая информация, способствующая проведению тестирования, размещена в сети.

Как тестировать

С помощью поисковых систем необходимо найти:

  • схемы сети организации и конфигурационные файлы
  • различные сообщения администраторов или руководящего состава
  • логи
  • имена пользователей и пароли
  • текст сообщений об ошибках
  • тестовые или устаревшие версии веб-приложения

Поисковые операторы

С помощью поискового оператора «site:» можно ограничить результаты поиска определенным доменом. При проведении тестирования не стоит ограничиваться только одной поисковой системой так как они могут выдавать различные результаты в зависимости от времени индексирования страниц и используемого алгоритма. Рекомендуется использовать следующие поисковые системы:

Duck Duck Go и ixquick/Startpage обеспечивают меньшую утечку информации о тестирующем.

Google предоставляет поисковый оператор «cache:» для получения сохраненных страниц, но все же предпочтительнее использовать ссылку «Сохраненная копия» возле каждой найденной страницы.

Google SOAP Search API поддерживает методы doGetCachedPage и doGetCachedPageResponce для получения сохраненных страниц. Сейчас разрабатывается проект, использующий данный функционал – OWASP «Google Hacking» Project.

PunkSpider отличается от аналогов, по сути своей – это «поисковик уязвимостей». Его польза при проведении тестирования определенных ресурсов весьма сомнительна, однако с помощью него можно продемонстрировать насколько легко найти уязвимости в веб-приложениях.

Google Hacking Database

Google Hacking Database – это список полезных поисковых запросов для Google. Все запросы сгруппированы в несколько категорий:

  • лазейки
  • файлы, содержащие имена пользователей
  • директорий, содержащие интересные файлы
  • определение веб-сервера
  • уязвимые файлы
  • уязвимые сервера
  • сообщения об ошибках
  • файлы с ценной информацией
  • файлы с паролями
  • информация об онлайн покупках

Инструменты

  1. FoundStone SiteDigger — http://www.mcafee.com/uk/downloads/free-tools/sitedigger.aspx
  2. Google Hacker — http://yehg.net/lab/pr0js/files.php/googlehacker.zip
  3. Bishop Fox’s Google Hacking Diggity Project — http://www.bishopfox.com/resources/tools/google-hacking-diggity/
  4. PunkSPIDER — http://punkspider.hyperiongray.com/

Справочные материалы

  1. «Google Basics: Learn how Google Discovers, Crawls, and Serves Web Pages» — https://support.google.com/webmasters/answer/70897
  2. «Operators and More Search Help» — https://support.google.com/websearch/answer/136861?hl=en
  3. «Google Hacking Database» — http://www.exploit-db.com/google-dorks/

Рекомендации:

  • Внимательно изучайте информацию перед тем как выложите ее онлайн
  • Периодически ищите в сети информацию, которая может облегчить взлом вашего веб-приложения