- Сообщения
- 37
Все таргетированные хакерские атаки начинаются с разведки. Социальные инженеры, красные команды и отдельные пентестеры также собирают информацию о своих целях перед тем, как перейти к активным действиям. Им помогают десятки инструментов и хаков. Под катом ссылки на некоторые из них.
Пост состоит из 8 объемных разделов:
- метапоисковики и поисковые комбайны;
- инструменты для работы с дорками;
- поиск по электронной почте и логинам;
- поиск по номерам телефонов;
- поиск в сети TOR;
- поиск по интернету вещей, IP, доменам и поддоменам;
- поиск данных об уязвимостях и индикаторов компрометации;
- поиск по исходному коду.
В этом списке собраны инструменты, которые члены нашей команды используют в работе. И все же, эта подборка пригодится не только пентестерам, но и разработчикам, журналистам, HR, маркетологам и всем, кто много ищет в интернете. Знания — это сила. Используйте их во благо.
я распределил инструменты на группы для удобства, в соответствии со своими представлениями о прекрасном. Список наверняка неполон, а некоторые ссылки вполне могли бы находиться в других разделах. Поскольку речь идет о поиске, в подборку не вошли многочисленные сканеры и другие инструменты для активного исследования компьютерных сетей, за исключением тех, что умеют в пассивный поиск по открытым источникам.
Метапоисковики и поисковые комбайны
Онлайн-сервисы
- Hopain Tools, Inteltechniques, IntelligenceX, Aware OSINT Tools — представляют собой стартовые страницы для десятков поисковых систем общего и специального назначения. Все они явно ориентированы на OSINT.
- Fagan Finder — панель с десятками поисковиков по библиотекам, архивам и базам данных.
- Metaosint — поисковик по поисковым системам. Предоставляет удобный интерфейс для поиска других инструментов.
- Synapsint — метапоисковик с возможностью поиска по IP, SSL, ASN, CVE, email и телефонным номерам.
- ThatsThem — комбинированный поисковик по именам, адресам, телефонам, адресам электронной почты и IP.
- Carrot2 — поисковик со встроенным алгоритмом кластеризации текста. Автоматически объединяет в группы тематически связанные источники.
- Isearchfrom — имитирует поисковые запросы к Google из различных стран. Помогает понять, как региональные ограничения влияют на поисковую выдачу.
- Answerthepublic — англоязычный поисковик, который выдает распространенные поисковые запросы по заданному словосочетанию.
Утилиты
- C — поиск из командной строки в 106 источниках.
- SpiderFoot — инструмент для автоматизации поисковых запросов и экспорта результатов в CSV, JSON, GEXF. Заточен под задачи red team. Снабжен встроенным веб-интерфейсом.
- Query-Server — инструмент для отправки поисковых запросов в Google, Yahoo, Bing, Ask, DuckDuckGo, Baidu, Exalead, Quora, Parsijoo, Dailymotion, Mojeek и Youtube и записи результатов в CSV, JSON или XML.
- Recon-ng — фреймворк для разведки по открытым источникам. Позволяет искать практически все от логинов, номеров телефонов и адресов, до файлов с бухгалтерской отчетностью, попавших в открытый доступ. Внешне напоминает Metasploit Framework.
- Querytool — инструмент OSINT, основанный google-таблицах. Предназначен для сложного поиска людей, адресов электронной почты, файлов и многого другого.
- Maltego Community Edition — это бесплатная версия OSINT-инструмента для сбора информации из Whois, поисковых систем, социальных сетей и выявления корреляций между людьми, адресами электронной почты, логинами, компаниями, веб-сайтами, доменами и т. д.
- sn0int — фреймворк для сбора и полуавтоматической обработки информации о поддоменах, IP-адресах, скомпрометированных учетных записях, телефонных номерах и профилях в социальных сетях.
- theHarvester — консольная утилита для сбора информации для реддтиминга. Позволяет выполнять активную и пассивную разведку при помощи различных поисковых систем. Собирает имена, адреса электронной почты, IP-адреса, поддомены и URL-адреса.
- ReconSpider — краулер для поиска IP-адресов, электронных писем, веб-сайтов, организаций и поиска информации из разных источников.
- Mr.Holmes — инструмент сбора информации о доменах, именах и телефонных номерах пользователя с помощью общедоступных источников и Google Dorks.
- Datasploit — инструмент OSINT, который можно найти в Kali или BlackArch Linux. Предназначен для сбора данных по определенному домену, электронной почте, имени пользователя или номеру телефона и сохранения отчетов в текстовых файлах, HTML и JSON.
- YaCy — децентрализованная поисковая система с открытым исходным кодом. Позволяет развернуть собственный поисковик.
Инструменты для работы с дорками
Онлайн-сервисы
- Google Hacking Database — пополняемый каталог дорков со встроенным поиском.
- Dorksearch — поисковая система со встроенным конструктором дорков.
- Bug Bounty Helper — еще один онлайн-конструктор google dorks для поиска «деликатных» страниц.
Утилиты
- pagodo — автоматизирует поиск потенциально уязвимых веб-страниц при помощи дорков из вышеупомянутой Google Hacking Database.
- Grawler — PHP-утилита с веб-интерфейсом для автоматизации использования Google Dorks, очистки и сохранения результатов поисковой выдачи.
- DorkScout — еще один инструмент для автоматизации поиска с использованием дорков. Написан на Golang.
- oxDork — утилита для поиска уязвимостей и неправильных конфигураций веб-серверов.
- ATSCAN SCANNER — предназначен для поиска с использованием дорков и массового сканирования веб-ресурсов на уязвимости.
- Fast Google Dorks Scan — автоматизированный инструмент для сбора информации о конкретном веб-сайте при помощи дорков.
- SiteDorks — готовый набор поисковых запросов для Google, Bing, Ecosia, DuckDuckGo, Yandex, Yahoo и так далее. Включает 527 веб-сайтов.
Поиск по электронной почте и логинам
Онлайн-сервисы
- Snusbase — индексирует информацию из утечек и дает доступ к поиску по скомпрометированным адресам электронной почты, логинам, именам, IP-адресам, телефонам и хешам паролей.
- have i been pwned? — поисковик по утечкам данных. Позволяет проверить, в каких инцидентах участвовал конкретный адрес электронной почты.
- whatsmyname — поиск учетных записей в различных сервисах по логину. В основе сервиса лежит общедоступный JSON.
- User Searcher — бесплатный инструмент, который поможет найти пользователя по логину на более чем 2 тыс. веб-сайтов.
- CheckUserNames, Instant Username Search, Namecheckr, peekyou, usersearch — онлайн-сервисы для поиска аккаунтов пользователя по логину.
Утилиты
- Infoga — инструмент, для сбора информации об учетных записях по электронной почте из общедоступных источников (поисковые системы, серверы ключей PGP, Shodan) и проверяющий, не произошла ли утечка электронной почты, с помощью API haveibeenpwned.com.
- Holehe OSINT — проверяет, привязана ли электронная почта к учетным записям на таких сайтах, как twitter, instagram, imgur. Поддерживает более 100 порталов. Использует функцию восстановления пароля.
- Mailcat — ищет адреса электронной почты по нику у 22 почтовых провайдеров.
- WhatBreach — инструмент OSINT, упрощающий задачу обнаружения утечек, в которых участвовал конкретный адрес электронной почты. Умеет загружать общедоступные базы данных.
- h8mail и pwnedOrNot — инструменты для поиска паролей от скомпрометированных адресов электронной почты в общедоступных базах данных.
- Sherlock — инструмент для поиска аккаунтов в социальных сетях по логину пользователя.
- Snoop Project — инструмент для поиска по логинам. По уверениям разработчика охватывает более двух с половиной тысяч сайтов.
- Maigret — собирает досье на человека логину, проверяя аккаунты на двух с половиной тысячах сайтов и собирая всю доступную информацию с веб-страниц. Ключи API не требуются. Форк Sherlock.
- Social Analyzer — API, интерфейс командной строки и веб-приложение для анализа и поиска профилей человека на более чем 1 тыс. сайтов.
- NExfil — python-утилита для поиска профилей по имени пользователя на 350 веб-сайтах.
- SPY — еще один быстрый поисковик по именам аккаунтов, работает с 210 сайтами.
- Blackbird — инструмент для поиска аккаунтов по логину в социальных сетях.
- Marple — упрощает поиск по логину через общедоступные поисковые системы от Google до Torch и Qwant.
- GHunt — модульный инструмент для сбора данных о google-аккаунтах.
- UserFinder — инструмент для поиска профилей по имени пользователя.
Поиск по номерам телефонов
Утилиты
- Moriarty — утилита для реверсивного (обратного) поиска по телефонным номерам. Позволяет найти владельца, получить ссылки, страницы социальных сетей и другую связанную с номером информацию.
- Phomber — выполняет поиск по телефонным номерам в интернете и извлекает все доступные данные.
- PhoneInfoga — известный инструмент для поиска международных телефонных номеров. Сначала выдает стандартную информацию, такую как страна, регион, оператор связи по любому международному телефонному номеру, а затем ищет его следы в поисковых системах, чтобы помочь идентифицировать владельца.
- kovinevmv/getcontact — утилита для получения информации из баз приложения GetContact (не подходит для парсинга, позволяет выполнить только ограниченное число запросов).
Поиск в сети TOR
Онлайн-сервисы
- IACA darkweb tools — стартовая страница для двух десятков поисковых систем, работающих с TOR и доступных из обычного веба.
- Ahmia.fi — еще один поисковик по сети TOR. Выделяется открытым исходным кодом.
- SearchDemon, Phobos, Tor66, ExcavaTOR, Raklet, SeИtoЯ, Torch, OnionLand Search — поисковые системы, работающие внутри сети TOR.
- Exonera Tor — база данных IP-адресов, которые были частью сети Tor. Поисковик отвечает на вопрос, работал ли ретранслятор Tor на этом IP-адресе в выбранную дату.
- Relay Search — веб-приложение для обнаружения ретрансляторов и мостов Tor, предоставляющее информацию о том, как они настроены. Имеет открытый исходный код.
Утилиты
- TorBot — удобный Onion краулер. Собирает адреса и названия страниц с кратким описанием, получает адреса электронной почты с сайтов, проверяет, активны ли ссылки, и сохраняет отчеты в JSON. Может быть запущен в Docker.
- VililantOnion — Onion краулер с поддержкой поиска по ключевым словам.
- Katana-ds — Python-инструмент для автоматизации поиска с использованием Google Dorks и с поддержкой TOR.
- OnionSearch — скрипт Python3 для автоматизации поиска в зоне .onion через общедоступные сервисы.
- Devils Eye — это инструмент OSINT для поиска в Darkweb. Не требует установки TOR. Также может искать в сети i2p.
Поиск по интернету вещей, IP, доменам и поддоменам
Онлайн-сервисы
- Shodan — знаменитая поисковая система для сбора информации об устройствах, подключенных к интернету.
- Censys Search, GreyNoise, ZoomEye, Netlas, CriminalIp — аналогичные Shodan поисковые системы, ориентированные на IoT.
- Buckets by Grayhatwarfar — база данных с общедоступным поиском по открытым AWS Buckets, Azure Blobs, Digital Ocean Spaces.
- Public buckets — поиск общедоступных бакетам AWS S3 & Azure Blob.
- macaddress.io, MAC Vendor Lookup, maclookup.app — определяют производителя устройства по MAC-адресу, OUI или IAB.
- CIRT, Default Password Lookup, Router Password, Open Sez Me — поиск по базам данных паролей, установленных по умолчанию на различных устройствах.
- sitereport.netcraft — выдает комплексную сводку по регистрационным данным и технологиям, используемым на веб-сайте.
- IPVoid — набор инструментов для исследования IP-адресов: проверка по черным спискам, Whois, поиск по DNS, пинг.
- DNSDumpster — инструмент для исследования доменов, который может обнаруживать хосты, связанные с доменом.
- ip-neighbors — определяет местоположение сервера, и имена хостов, которые делят с ним IP-адрес.
- ShowMyIP — массовый поиск IP-адресов, позволяет проверять до 100 IP-адресов одновременно. Выдачу можно загрузить сохранить в .csv-файл.
- MX Toolbox — еще один многофункциональный инструмент, позволяющий искать по доменному имени, IP-адресу или имени хоста.
- DNSViz — это набор инструментов для анализа и визуализации системы доменных имен. Имеет открытый исходный код.
- infosniper, ip2geolocation, ip2location, ipfingerprints, whoismind — поисковики, которые позволяют найти приблизительное географическое местоположение IP-адреса, а также другую полезную информацию, включая интернет-провайдера, часовой пояс, код города и т. д.
- RapidDNS — инструмент для DNS-запросов, который упрощает поиск поддоменов или сайтов с одним и тем же IP-адресом.
Утилиты
- IVRE — фреймворк для сетевой разведки. Альтернатива Shodan, ZoomEye, Censys и GreyNoise.
- OWASP Amass — сетевой сканер с функцией поиска информации в открытых источниках. Агрегирует информацию из десятков различных поисковых систем и баз данных.
- Infoooze — инструмент OSINT на базе NodeJs. Объединяет в себе сканер портов и поддоменов, поиск DNS-поиск URL-сканер, поиск в Whois и еще ряд инструментов.
- Automater — утилита для поиска URL, IP-адресов и хешей MD5, предназначенная для упрощения работы ИБ-аналитиков. Установлена в Kali Linux по умолчанию.
- Mitaka — предназначена для поиска IP-адресов, MD5, ASN и биткойн-адресов.
- Photon — сканер для работы с информаций из открытых источников. Предназначен для сканирования конкретных веб-сайтов в поисках (pdf, png, xml и т. д.), ключей, поддоменов и многого другого. Экспортирует полученные данные в JSON.
- AttackSurfaceMapper — сканер с функциями поиска по открытым источникам. Ищет поддомены и связанные с ними IP-адреса.
- HostHunter — использует методы разведки по открытым источникам для сопоставления IP-адресов с именами хостов. Выгружает результаты поиска в CSV или TXT-файлы.
- Subfinder — модульный инструмент для обнаружения поддоменов при помощи методов пассивной разведки. Предназначен для багхантеров и пентестеров.
- Sublist3r — предназначен для поиска поддоменов с использованием OSINT.
- WASP Amass — выполняет сетевое картирование при помощи информации из открытых источников.
- Anubis — еще одна утилита для обнаружения поддоменов и сбора информации о них из открытых источников.
- DOME — скрипт python, выполняющий активное и/или пассивное сканирование для получения поддоменов и поиска открытых портов.
- Belati — инструмент для сбора общедоступных данных и документов с веб-сайтов Вдохновлен Foca и Datasploit.
Поиск данных об уязвимостях и индикаторов компрометации
Онлайн-сервисы
- MITRE CVE — поисковик, база данных и общепринятый классификатор уязвимостей.
- NIST NVD — поиск по официальной американской правительственной базе данных об уязвимостях.
- GitHub Advisory Database — база данных уязвимостей, включающая CVE и рекомендации по безопасности.
- CVEDetails, osv.dev, VulDB, maltiverse — еще ряд источников данных об уязвимостях и индикаторах компрометации.
- opencve.io — поисковик CVE со встроенными оповещениями о новых угрозах.
- security.snyk.io и Mend Vulnerability Database, Vulncode-DB — базы данных уязвимостей с открытым исходным кодом.
- Cloudvulndb — проект, который аккумулирует уязвимости и проблемы безопасности поставщиков облачных услуг.
- Vulnerability Database — система для поиска информации об актуальных угрозах.
- Rapid7 - DB — база данных, которая содержит детали более чем 180 тыс. уязвимостей и 4 тыс. эксплойтов. Все эксплойты включены в Metasploit.
- Exploit DB — CVE-совместимый архив общедоступных эксплойтов и уязвимого программного обеспечения.
- sploitus — поисковик по эксплойтам и хакерским инструментам.
Поиск по исходному коду
Онлайн-сервисы
- Searchcode — поиск реальных примеров функций, API и библиотек на 243 языках в GitHub, GitLab, Bitbucket, GoogleCode и других хранилищах исходного кода.
- Sourcegraph — быстрый и функциональный поисковик по open-source репозиториям. Имеет selfhosted-версию.
- HotExamples — поиск примеров кода open-source проект. Позволяет увидеть на одной странице примеры использования того или иного класса или метода из нескольких проектов.
- Libraries.io — поиск по 4 690 628 пакетам в 32 пакетных менеджерах.
- RepoSearch — поиск исходного кода в репозиториях SVN и GitHub.
- grep.app — поиск по содержимому Git. Полезен для поиска строк, связанных с уязвимостями индикаторами компрометации и вредоносными программами.
- Search from Cyber_detective — поиск в 20 репозиториях с открытым исходным кодом при помощи дорков.
- PublicWWW — позволяет найти любой буквенно-цифровой фрагмент, в том числе куски HTML, JavaScript, CSS-кода в коде веб-страниц.
- NerdyData — поиск веб-сайтов, использующих определенные технологии.
Утилиты
- Gitrob — инструмент, помогающий находить потенциально конфиденциальные файлы, помещенные в общедоступные репозитории на Github. Клонирует репозиторий, перебирает историю коммитов, помечает подозрительные файлы и выводит результаты в веб-интерфейс.
- Github Dorks — утилита для поиска с использованием дорков через GitHub Search API. Написан на Python.
- gitGraber — инструмент для мониторинга GitHub и оперативного поиска конфиденциальных данных, например, кредов от Google, Amazon (AWS), Paypal, Github, Mailgun, Facebook, Twitter, Heroku, Stripe, Twilio.
- github-search — коллекция консольных инструментов для исследования Github.
- TheScrapper — предназначен для поиска адресов электронной почты и учетных записей социальных сетей в исходном коде веб-сайта.