Введение в OSINT. Поиск и анализ данных по открытым источникам. Практические советы

3 oct. 2023
Введение в OSINT. Поиск и анализ данных по открытым источникам. Практические советы

OSINT (Open Source Intelligence) — разведывательная дисциплина и комплекс методик, инструментов для сбора и анализа данных из открытых источников. Ее используют для изучения людей, организаций, событий и т. д. OSINT-разведка — перспективное направление, которое пока не стало таким же популярным, как веб-разработчик, маркетолог или дизайнер, но услуги OSINT-специалистов стабильно пользуются высоким спросом.

Зачем нужен OSINT 

Разведка по открытым источникам в качестве самостоятельной дисциплины оформилась еще в 40-х гг прошлого века в США. Впервые OSINT-разведчики появились в правительственной службе мониторинга зарубежных трансляций. Они записывали коротковолновые радиопередачи в других странах и передавали их ЦРУ и военным. По информации представителей ЦРУ, руководство США получает до 90% данных из открытых источников. Для сбора данных используют инструменты для OSINT-разведки, которые не предполагают взлом баз данных, слежку и т. д. Люди и компании самостоятельно размещают эту информацию в сети. Инструменты помогают быстрее найти ее.

С 2010-х OSINT начали использовать коммерческие и научные компании, сфера применения разведки крайне широка:

  • Журналистика. Репортеры используют разведку по открытым источникам для сбора фактов, проверки деталей и создания новостных сюжетов. 
  • Бизнес и корпоративная разведка. Компании используют OSINT для получения информации о других предприятиях, целевой аудитории, рынках, технологиях и других важных областях бизнеса. 
  • Научные исследования. Ученые обращаются к OSINT для сбора и оценки данных для исследований. 
  • Кибербезопасность. Службы безопасности используют OSINT для поиска слабых мест, выявления опасностей, расследования и устранения последствий событий. 

Будни OSINT-специалистаБудни OSINT-специалиста

Типичные задачи, решаемые с помощью OSINT-разведки:

  • Сбор и агрегация объективных данных для принятия управленческих решений.
  • Исследование конкурентных преимуществ игроков на рынке.
  • Поиск уязвимостей в системе кибербезопасности и защите конфиденциальных данных.
  • Анализ путей утечки информации.
  • Изучение психологических особенностей, потребностей и привычек клиентов.

Основные принципы OSINT-разведки 

Понимание и обучение OSINT следует начать с трех фундаментальных принципов, являющихся столпами разведки по открытым источникам:

  • Принцип мозаики. Можно назвать разведку даже пазлом. OSINT редко дает четкие и краткие ответы на вопросы специалиста. Когда это все же происходит, разведчики называем это «поиском клада». В основном разведка с использованием открытых источников предполагает сбор ответа на запрос из множества различных частей. Другими словами, аналитики собирают данные из нескольких источников и самостоятельно собирают их в единую картину, которая отвечает на поставленный вопрос.
  • Принцип косвенной информации. Этот принцип применяется в большинстве случаев, поскольку прямые ответы на вопросы редко удается найти. Из-за этого специалистам приходится самостоятельно интерпретировать данные, чтобы ответить на вопрос “почему” с опорой на разрозненные факты. Например, об эффективности бомбардировок оккупированного нацистами Парижа в 1941 году британцы судили по колебаниям цен на апельсины. Они считали, что удачная бомбардировка обязательно приведет к росту этой цены из-за разрыва цепочек поставок, разрушения складов и нарушения логистики в городе.
  • Принцип нестандартного использования. OSINT-разведчики работают со множеством источников, часть из которых кажется бесполезными или безобидными. Однако при умелом применении даже аккаунт в социальной сети может стать важным источником информации. OSINT-разведчика можно сравнить с Джоном Уиком и карандашом в баре. Все, что есть под рукой, окажется полезным, если уметь этим пользоваться.

Какую информацию можно собрать с помощью OSINT 

OSINT — это направление с широкой областью применения, поэтому свести в единый список данные, с которыми работает специалист, невозможно. В зависимости от задачи и отрасли требуется разная информация. К примеру, с помощью OSINT пробив номера нужен редко, а в правоохранительных органах — это нормальная практика.

Тернистый путь в OSINT. Картина масломТернистый путь в OSINT, картина маслом

Если же говорить сфере IT и кибербезопасности, то разведчики работают преимущественно в интернете и собирают следующую информацию:

  • Регистрационные данные о домене ресурса и его сертификате.
  • Персональные данные пользователей (логин, адрес электронной почты, номер телефона).
  • Сведения об активности человека в социальных сетях и мессенджерах (время посещения, посты, аватарки и т. д.). В 2022–2023 гг. активно применяют OSINT в Телеграм.
  • История поиска в Яндексе и Google.
  • HTML-код сайта
  • Опубликованные тексты, картинки, аудиозаписи, видео и метаданные (дата создания, время публикации, использованное устройство и др.).
  • Геолокация.

Не лишним будет отметить, что разведка по открытым источникам предполагает использование инструментов, которые есть в свободном доступе (например, OSINT Framework), они могут быть как платными, так и бесплатными, однако в любом случае разведчик не проникает в закрытые базы данных компаний, не взламывает смартфоны пользователей и т. д. А его сфера ответственности ограничивается работой с информацией, которая:

  • Не считается конфиденциальной.
  • Не составляет коммерческую или государственную тайну.

Инструменты и методы OSINT-разведки 

Разведчики используют множество онлайн-сервисов и инструментов. Если же говорить именно о специализированных инструментах OSINT, нужно выделить:

  • Maltego — удобная программа для сбора данных в интернете, обладающая мощными встроенными средства визуализации данных.
  • Skopenow — пакет инструментов для OSINT-расследований в любой отрасли. Он позволяет быстро находить в сети и сопоставлять информацию людях и их действиях.
  • Search4faces.com — сервис используют для поиска по фотографиям. Благодаря нейросетям он найдет фото в ВК, Одноклассниках, ТикТок и других социальных сетях.
  • Kali Linux — дистрибутив Линукса, поставляющийся с набором утилит, которые нужны для анализа IT-инфраструктуры и поиска уязвимостей в автоматическом режиме.
  • Crystal Explorer — упрощенная и бесплатная версия популярного инструмента для отслеживания транзакций в блокчейне Bitcoin и идентификации криптовалютных кошельков. Инструмент позволяет за несколько кликов выстроить удобную схему проведения транзакций в децентрализованной сети.
  • Maigret OSINT bot — бот и одноименный сервер использующиеся для поиска никнейма пользователя в мессенджерах, социальных сетях, форумах. Анализ совпадений ведется на 2000+ онлайн-платформах. 
  • Universal Search — программа для глубокого поиска по приложениям и файлам на устройстве. Благодаря наличию эффективного индекса папок и содержимого фалов позволяет быстро найти нужный документ по содержимому или названию.
  • Spider Foot — утилита для поиска данных о целевом хосте путем активного и пассивного сканирования. 
  • Яндекс Аудитории — сервис, который даже в бесплатном варианте дает возможность собрать социальный граф (пол, возраст, город, интересы) по уникальному рекламному идентификатору пользователя, привязанному к адресу электронной почты, номеру телефона или MAC-адресу используемого устройства.

Этими инструментами этом список утилит и онлайн-сервисов не ограничивается, постоянно появляются новые, поэтому, OSINT-специалисту, желающему быть эффективным, необходимо постоянно держать руку на пульсе.

Kali Linux — специализированный дистрибутив для специалистов в сфере кибербезопасности и OSINTKali Linux — специализированный дистрибутив для специалистов в сфере кибербезопасности и OSINT

Как изучать OSINT 

OSINT — это не наука общеприменительной теорей и четкими алгоритмами, это скорее методология поиска информации и аналитической работы с данными. Чтобы стать профессионалом, недостаточно пройти курсы. Необходима практика. Очень много практики, сопряженной с импровизацией. Теория дает основные навыки и знания, но учиться думать, как разведчик, придется самостоятельно.

Новичку, который впервые узнал об OSINT и захотел освоить профессию, нужно:

  • Понять, как работают поисковые системы, индексирование.
  • Разобраться в технологическом устройстве интернета.
  • Усвоить различия между хостинг-провайдером и регистратором.
  • Научиться работать с WhoIs, DNS и доменами.
  • Разобраться в дорках Яндекса и Гугла, а также основных социальных сетей (Вконтакте, Одноклассники).
  • Понять, как работает реверсивный поиск по фото.
  • Научиться искать, проверять и анализировать метаданные.
  • Освоить базовые принципы фактчекинга.
  • Изучить российское законодательство, регулирующее OSINT в стране.
  • Разобраться, как использовать официальные источники информации (База штрафов ГИБДД, ФССП, ЕГРИП/ЕГРЮЛ и другие).

Если начинающий специалист планирует стать профи с большим окладом, то потребуется освоить Python, JavaScript и HTML, а также английский язык. Хотя бы базовые навыки программирования пригодится при запуске кастомного софта с GitHub, а владение иностранным языком многократно расширит выбор источников для сбора данных и информации самообучения.

Этические и правовые аспекты. Что такое открытые источники.

Открытые источники — это информация, которую можно свободно использовать, обрабатывать и распространять (статистика, исследования, социальные сети). Нужно учитывать, что OSINT-разведка ведется на грани законности. Чтобы не нарушить законы РФ, важно:

  • Соблюдать конфиденциальность. Нельзя публиковать данные реальных людей в сети.
  • Работать только с открытыми источниками. Взлом и покупка украденной информации вне закона.
  • Не распространять дезинформацию.
  • Не нарушать право граждан на тайну личной жизни.

Заключение

OSINT — это “белый” шпионаж по открытым источникам. Разведчики собирают массивы информации из соцсетей, баз и других платформ, которые часто кажутся бесполезными. В 2022–2023 OSINT становится все более популярным направлением, поскольку бизнес хочет знать больше о себе, конкурентах и потребителях. А OSINT позволяет собрать достаточно данных для ответа практически на любой вопрос. Если вас заинтересовали эти услуги — гоу в контакты.

Ваш комментарий появится на сайте после проверки модератором
При отправке комментария произошла ошибка

  1. Привет. Занимаетесь seo продвижением сайтов? Также необходимо защитить сайт от хакерских Атак.

    1. Добрый день. Ответил подробно тут https://seo-profik.ru/blog/post/probiv-cheloveka-v-telegrame-s-pomoschyu-osint/