Введение в OSINT. Поиск и анализ данных по открытым источникам. Практические советы

OSINT (Open Source Intelligence) — разведывательная дисциплина и комплекс методик, инструментов для сбора и анализа данных из открытых источников. Ее используют для изучения людей, организаций, событий и т. д. OSINT-разведка — перспективное направление, которое пока не стало таким же популярным, как веб-разработчик, маркетолог или дизайнер, но услуги OSINT-специалистов стабильно пользуются высоким спросом.

Зачем нужен OSINT 

Разведка по открытым источникам в качестве самостоятельной дисциплины оформилась еще в 40-х гг прошлого века в США. Впервые OSINT-разведчики появились в правительственной службе мониторинга зарубежных трансляций. Они записывали коротковолновые радиопередачи в других странах и передавали их ЦРУ и военным. По информации представителей ЦРУ, руководство США получает до 90% данных из открытых источников. Для сбора данных используют инструменты для OSINT-разведки, которые не предполагают взлом баз данных, слежку и т. д. Люди и компании самостоятельно размещают эту информацию в сети. Инструменты помогают быстрее найти ее.

С 2010-х OSINT начали использовать коммерческие и научные компании, сфера применения разведки крайне широка:

• Журналистика. Репортеры используют разведку по открытым источникам для сбора фактов, проверки деталей и создания новостных сюжетов. 
• Бизнес и корпоративная разведка. Компании используют OSINT для получения информации о других предприятиях, целевой аудитории, рынках, технологиях и других важных областях бизнеса. 
• Научные исследования. Ученые обращаются к OSINT для сбора и оценки данных для исследований. 
• Кибербезопасность. Службы безопасности используют OSINT для поиска слабых мест, выявления опасностей, расследования и устранения последствий событий. 

Будни OSINT-специалиста

Типичные задачи, решаемые с помощью OSINT-разведки:

• Сбор и агрегация объективных данных для принятия управленческих решений.
• Исследование конкурентных преимуществ игроков на рынке.
• Поиск уязвимостей в системе кибербезопасности и защите конфиденциальных данных.
• Анализ путей утечки информации.
• Изучение психологических особенностей, потребностей и привычек клиентов.

Основные принципы OSINT-разведки 

Понимание и обучение OSINT следует начать с трех фундаментальных принципов, являющихся столпами разведки по открытым источникам:

• Принцип мозаики. Можно назвать разведку даже пазлом. OSINT редко дает четкие и краткие ответы на вопросы специалиста. Когда это все же происходит, разведчики называем это «поиском клада». В основном разведка с использованием открытых источников предполагает сбор ответа на запрос из множества различных частей. Другими словами, аналитики собирают данные из нескольких источников и самостоятельно собирают их в единую картину, которая отвечает на поставленный вопрос.
• Принцип косвенной информации. Этот принцип применяется в большинстве случаев, поскольку прямые ответы на вопросы редко удается найти. Из-за этого специалистам приходится самостоятельно интерпретировать данные, чтобы ответить на вопрос “почему” с опорой на разрозненные факты. Например, об эффективности бомбардировок оккупированного нацистами Парижа в 1941 году британцы судили по колебаниям цен на апельсины. Они считали, что удачная бомбардировка обязательно приведет к росту этой цены из-за разрыва цепочек поставок, разрушения складов и нарушения логистики в городе.
• Принцип нестандартного использования. OSINT-разведчики работают со множеством источников, часть из которых кажется бесполезными или безобидными. Однако при умелом применении даже аккаунт в социальной сети может стать важным источником информации. OSINT-разведчика можно сравнить с Джоном Уиком и карандашом в баре. Все, что есть под рукой, окажется полезным, если уметь этим пользоваться.

Какую информацию можно собрать с помощью OSINT 

OSINT — это направление с широкой областью применения, поэтому свести в единый список данные, с которыми работает специалист, невозможно. В зависимости от задачи и отрасли требуется разная информация. К примеру, с помощью OSINT пробив номера нужен редко, а в правоохранительных органах — это нормальная практика.

Тернистый путь в OSINT, картина маслом

Если же говорить сфере IT и кибербезопасности, то разведчики работают преимущественно в интернете и собирают следующую информацию:

• Регистрационные данные о домене ресурса и его сертификате.
• Персональные данные пользователей (логин, адрес электронной почты, номер телефона).
• Сведения об активности человека в социальных сетях и мессенджерах (время посещения, посты, аватарки и т. д.). В 2022–2023 гг. активно применяют OSINT в Телеграм.
• История поиска в Яндексе и Google.
• HTML-код сайта
• Опубликованные тексты, картинки, аудиозаписи, видео и метаданные (дата создания, время публикации, использованное устройство и др.).
• Геолокация.

Не лишним будет отметить, что разведка по открытым источникам предполагает использование инструментов, которые есть в свободном доступе (например, OSINT Framework), они могут быть как платными, так и бесплатными, однако в любом случае разведчик не проникает в закрытые базы данных компаний, не взламывает смартфоны пользователей и т. д. А его сфера ответственности ограничивается работой с информацией, которая:

• Не считается конфиденциальной.
• Не составляет коммерческую или государственную тайну.

Инструменты и методы OSINT-разведки 

Разведчики используют множество онлайн-сервисов и инструментов. Если же говорить именно о специализированных инструментах OSINT, нужно выделить:

• Maltego — удобная программа для сбора данных в интернете, обладающая мощными встроенными средства визуализации данных.
• Skopenow — пакет инструментов для OSINT-расследований в любой отрасли. Он позволяет быстро находить в сети и сопоставлять информацию людях и их действиях.
• Search4faces.com — сервис используют для поиска по фотографиям. Благодаря нейросетям он найдет фото в ВК, Одноклассниках, ТикТок и других социальных сетях.
• Kali Linux — дистрибутив Линукса, поставляющийся с набором утилит, которые нужны для анализа IT-инфраструктуры и поиска уязвимостей в автоматическом режиме.
• Crystal Explorer — упрощенная и бесплатная версия популярного инструмента для отслеживания транзакций в блокчейне Bitcoin и идентификации криптовалютных кошельков. Инструмент позволяет за несколько кликов выстроить удобную схему проведения транзакций в децентрализованной сети.
• Maigret OSINT bot — бот и одноименный сервер использующиеся для поиска никнейма пользователя в мессенджерах, социальных сетях, форумах. Анализ совпадений ведется на 2000+ онлайн-платформах. 
• Universal Search — программа для глубокого поиска по приложениям и файлам на устройстве. Благодаря наличию эффективного индекса папок и содержимого фалов позволяет быстро найти нужный документ по содержимому или названию.
• Spider Foot — утилита для поиска данных о целевом хосте путем активного и пассивного сканирования. 
• Яндекс Аудитории — сервис, который даже в бесплатном варианте дает возможность собрать социальный граф (пол, возраст, город, интересы) по уникальному рекламному идентификатору пользователя, привязанному к адресу электронной почты, номеру телефона или MAC-адресу используемого устройства.

Этими инструментами этом список утилит и онлайн-сервисов не ограничивается, постоянно появляются новые, поэтому, OSINT-специалисту, желающему быть эффективным, необходимо постоянно держать руку на пульсе.

Kali Linux — специализированный дистрибутив для специалистов в сфере кибербезопасности и OSINT

Как изучать OSINT 

OSINT — это не наука общеприменительной теорей и четкими алгоритмами, это скорее методология поиска информации и аналитической работы с данными. Чтобы стать профессионалом, недостаточно пройти курсы. Необходима практика. Очень много практики, сопряженной с импровизацией. Теория дает основные навыки и знания, но учиться думать, как разведчик, придется самостоятельно.

Новичку, который впервые узнал об OSINT и захотел освоить профессию, нужно:

• Понять, как работают поисковые системы, индексирование.
• Разобраться в технологическом устройстве интернета.
• Усвоить различия между хостинг-провайдером и регистратором.
• Научиться работать с WhoIs, DNS и доменами.
• Разобраться в дорках Яндекса и Гугла, а также основных социальных сетей (Вконтакте, Одноклассники).
• Понять, как работает реверсивный поиск по фото.
• Научиться искать, проверять и анализировать метаданные.
• Освоить базовые принципы фактчекинга.
• Изучить российское законодательство, регулирующее OSINT в стране.
• Разобраться, как использовать официальные источники информации (База штрафов ГИБДД, ФССП, ЕГРИП/ЕГРЮЛ и другие).

Если начинающий специалист планирует стать профи с большим окладом, то потребуется освоить Python, JavaScript и HTML, а также английский язык. Хотя бы базовые навыки программирования пригодится при запуске кастомного софта с GitHub, а владение иностранным языком многократно расширит выбор источников для сбора данных и информации самообучения.

Этические и правовые аспекты. Что такое открытые источники.

Открытые источники — это информация, которую можно свободно использовать, обрабатывать и распространять (статистика, исследования, социальные сети). Нужно учитывать, что OSINT-разведка ведется на грани законности. Чтобы не нарушить законы РФ, важно:

• Соблюдать конфиденциальность. Нельзя публиковать данные реальных людей в сети.
• Работать только с открытыми источниками. Взлом и покупка украденной информации вне закона.
• Не распространять дезинформацию.
• Не нарушать право граждан на тайну личной жизни.

Заключение

OSINT — это “белый” шпионаж по открытым источникам. Разведчики собирают массивы информации из соцсетей, баз и других платформ, которые часто кажутся бесполезными. В 2022–2023 OSINT становится все более популярным направлением, поскольку бизнес хочет знать больше о себе, конкурентах и потребителях. А OSINT позволяет собрать достаточно данных для ответа практически на любой вопрос. Если вас заинтересовали эти услуги — гоу в контакты.