decorate image
decorate image
Онлайн-курс Jmix за 5 дней

Разработка системы обезличивания баз данных

    Компания

    Компания «Crosstech Solutions Group» («CTSG»), была создана в 2018 году и является российским разработчиком решений в сфере информационной безопасности для мониторинга, контроля и комплексной защиты от внутренних угроз с учетом специфики каждой отдельной организации. На 2024 год в ней трудятся более 200 сотрудников, а продукты входят в реестр российского ПО и рекомендованы для импортозамещения на предприятиях России. Компания работает с заказчиками из разных областей и сфер: банки, государственные компании, крупный ритейл и другие.

    Ситуация

    На текущий момент у многих организаций, которые работают с чувствительной информацией, есть потребность в обезличивании собственных баз данных во избежание их утечек и «сливов». Это касается персональных данных, коммерческой тайны или любой другой конфиденциальной информации. По статистике около 90% из компрометируемых данных в РФ составляет доля именно персональных данных, так как они являются самыми дорогими и востребованными на «черном» рынке.

    С уходом зарубежных решений с российского рынка компания «Crosstech Solutions Group» поставила перед собой задачу разработать отечественный продукт, который позволил бы решить проблему обнаружения и обезличивания чувствительных данных в базах клиентов.

    Решение

    «CTSG» смогли создать микросервисное приложение, которое работает с базами данных разных типов и объёмами более 30 терабайт.

    Для реализации была выбрана патформа Jmix по ряду причин:

    • Большое количество встроенного функционала, который можно использовать «из коробки»;
    • Вместо целой команды front и back часть может реализовать один fullstack-разработчик;
    • Гибкий функционал ролей, с помощью которого разграничивается доступ к функциям системы;
    • Встроенная интеграция с LDAP и конструктор дашбордов, которые требуются каждому клиенту;
    • «Под капотом» Jmix использует Spring Boot, что позволяет применять все преимущества последнего, в том числе набор инструментов для управления микросервисами Spring Cloud.

    Система выполняет следующие ключевые функции: подключается к базе данных, автоматически обнаруживает чувствительную информацию в её таблицах и столбцах и обезличивает её разными методами: по словарям, заменой на константное значение, случайной заменой части значения и другими способами.

    Jmix_razrabotka_systemy obezlichivaniya 1 .jpg

    Одновременно система позволяет работать с несколькими базами данных. Подключения к ним настраиваются в планах обезличивания. Статус работы с тем или иным подключением подсвечивается определённым цветом.

    Jmix_razrabotka_systemy obezlichivaniya  2.jpg

    В результате выполнения процессов система отображает статистику по созданным планам обезличивания.

    Jmix_razrabotka_systemy obezlichivaniya  3.jpg

    Архитектура

    На рисунке ниже приведена архитектурная схема решения. Система поддерживает распределённую установку на несколько виртуальных машин, позволяя запускать много экземпляров сервисов на каждой из них.

    Architecture-crosstech.png

    Компонент UI-интерфейса «JMIX» – микросервис, отвечающий за графический интерфейс. Он не поддерживает масштабирование и представляет собой приложение, разработанное на базе Jmix.

    Сервисы «DATAPROCESSOR», «ANALYZER» и «MASKING» являются масштабируемыми и занимаются работой с базой данных, анализом информации и маскированием данных соответственно. Они также реализованы в виде приложений на платформе Jmix.

    Система также предоставляет ряд служебных сервисов: «REGISTRY» отвечает за регистрацию экземпляров других микросервисов, «GATEWAY» – обеспечивает единую точку входа в систему для пользователей (по единому IP и порту), «REDIS» – быстрое «In memory» хранилище данных для обеспечения хранения кэша, «RabbitMQ» – программный брокер сообщений, обеспечивающий равномерное распределение нагрузки на остальные микросервисы.

    Помимо этого, в состав системы входит популярная тройка инструментов Grafana + Prometheus + Loki, использующиеся для мониторинга и сбора данных в современных системах.

    Одним из основных преимуществ продукта является скорость обнаружения чувствительных данных и их обезличивания – она достигает нескольких тысяч значений в секунду. Помимо этого, скорость работы системы может регулироваться масштабированием количества микросервисов анализатора или маскировщика чувствительных данных.

    В процессе разработки решения были использованы следующие дополнения (AddOns):

    • Русская локализация – для перевода интерфейса на русский язык;
    • Email – для отправки уведомлений о начале/завершении процессов профилирования или маскирования;
    • Quartz – для запуска процессов обезличивания по расписанию;
    • Rest API – для взаимодействия между микросервисами и внешнего обращения;
    • LDAP – для бесшовной интеграции с MS Active Directory и подключения доменной аутентификации;
    • Dashboards и Charts– для отображения статистических дашбордов и инфопанелей.

    Кто заказчики

    Система Jay Data используется крупными финансовыми организациями для подготовки тестовых ландшафтов и полигонов с тестовыми данными. С такими полигонами могут работать любые подрядчики, разработчики, бизнес-аналитики, дата инженеры и тестировщики, не получая при этом прав доступа к реальным персональным и чувствительным данным, что исключает риск их компрометации и утечки. Также это избавляет от необходимости оформления допуска разработчиков к таким данным и сокращает количество бюрократических процедур и требований безопасности к тестовым полигонам.

    В отличие от варианта с подготовкой обезличенной версии баз данных «вручную», выполнение этой задачи с помощью Jay Data имеет ряд неоспоримых преимуществ:

    • Обезличенная база данных сохраняет оригинальный объем;
    • В обезличенной базе данных сохраняется консистентность (например, количество уникальных имён и фамилий в исходной и обезличенной базах остаётся прежним);
    • Исключаются пропуски чувствительных данных из-за человеческого фактора;
    • Сохраняются связи между строками и таблицами баз данных;
    • Сохраняются и проверяются контрольные суммы в специальных полях (например, в номерах банковских карт или ИНН);
    • Контролируется целостность данных (например, уникальность или обязательность значений в полях).

    В результате работы системы клиент получает базу, в которой данные выглядят как реальные, но на самом деле таковыми не являются. Злоумышленник даже не всегда сможет понять, что перед ним обезличенная версия базы. При этом бизнес-аналитики по-прежнему могут выявлять закономерности в данных, а разработчики и тестировщики дорабатывать бизнес-системы, которые с этими базами работают.

    Примеры результата обезличивания приведены в таблице ниже.
    Metody obezlichivaniya dannyh.jpg

    Дополнительным сценарием применения Jay Data является обеспечение банков соответствию стандартам PCI DSS с целью выполнения требований платежной системы Мир и сотрудничества с Union Pay. При внедрении решения Jay Data для хранения номеров карт PAN (Primary Account Number) в замаскированном виде только персонал банка при бизнес-необходимости может видеть все платежные данные клиентов. Это даёт возможность успешно пройти процесс сертификационного аудита на соответствие требованиям международного стандарта безопасности данных PCI DSS.

    Результат

    Использование Jmix для реализации продукта Jay Data позволило в сжатые сроки создать российское решение по обезличиванию данных, которое используется крупными компаниями для импортозамещения ушедших с рынка зарубежных аналогов. Благодаря большому количеству встроенных функций разработчики были сосредоточены на реализации бизнес-логики системы, а не на типовых операциях, что позволило значительно сэкономить на размере команды и повысить скорость разработки. Помимо этого, данный кейс показывает возможность применения Jmix для реализации микросервисных приложений, работающих с огромными объёмами данных.

    Примеры проектов
    Энергетика

    Varasset: переход с устаревших технологий на современный Open Source стек всего за 8 месяцев

    Гибкое решение для энергетических и телекоммуникационных компаний.
    Подробнее
    Профессиональные услуги

    Consorzio Metis: Инновационная система для защиты от чрезвычайных ситуаций

    Приложение для мониторинга стихийных бедствий и управления ликвидацией их последствий.
    Подробнее
    Банки и финансы

    Ingenico: интеграция Jira с системой управления проектами через приложение the Pipe за 3 месяца

    Комплексная среда для управления проектами для глобального лидера в области систем безопасных электронных транзакций
    Подробнее
    Транспорт и логистика

    ERP-система для логистической компании

    ERP-система для автоматизации 80% процессов планирования поездок, составления маршрутных листов и расчетов заработной платы.
    Подробнее
    Банки и финансы

    Card Access Services: государственная платежная система с нуля

    Цифровизация платежной системы целой страны.
    Подробнее
    Банки и финансы

    Система контроля качества для B2B и B2G рынков за 1 год

    Автоматизация процесса управления качеством.
    Подробнее
    Профессиональные услуги

    Система для управления талантами на корпоративном уровне за 6,5 месяцев

    Система для управления HR-процессами на корпоративном уровне.
    Подробнее
    Банки и финансы

    Масштабный рост количества обрабатываемых кредитных заявок в СКБ-банк

    Гибко настраиваемые бизнес-процессы для обработки заявок.
    Подробнее
    Энергетика

    Electricity North West UK: значительное сокращение потерь по причине краж металлоконструкций и наводнений

    Динамическое управление рисками на основе данных из различных источников и бизнес-процессов.
    Подробнее
    Банки и финансы

    TAB Bank сократил издержки и расширил бизнес за счет развития внутренних процессов

    Комплексная система автоматизации для банка из США.
    Подробнее
    Банки и финансы

    Трехкратный рост выручки коллекторского агентства

    Автоматизация бизнес-процессов позволила получить конкурентное преимущество.
    Подробнее
    Здравоохранение

    Портал для повышения квалификации медиков со всей страны для Минздрава России

    После проведенной модернизации портал содержит 69 000 программ для повышения квалификации, на нем зарегистрировано более 2,5 млн пользователей.
    Подробнее
    Транспорт и логистика

    Smart Data: умный вывоз мусора и электронные пропуска для туристов

    Автоматизация работы регоператора по обращению с ТКО и сервис для национального парка.
    Подробнее
    Профессиональные услуги

    «КС-Консалтинг Софт»: система «Ведок» для управления документами и задачами

    Система для управления документами и задачами.
    Подробнее
    Промышленное производство

    Азия Строй Инвест: система ведения заказов на производстве

    Система автоматизации заказов производства.
    Подробнее
    Государственный сектор

    Платформа для популяризации спорта в Самарской области

    Проект «Цифровой спорт» представляет собой платформу, объединяющую министерство, тренеров, а также спортсменов, родителей и других посетителей спортивного объекта.
    Подробнее
    Профессиональные услуги

    Вебзавод: система хранения и удобного поиска лицензионных иллюстраций для авиакомпании

    Решение в области хранения и управления медиафайлами Digital Asset Management (DAM) решили разрабатывать на базе Jmix.
    Подробнее
    Здравоохранение

    ОПУС ТЭК: система анализа информации для городской больницы

    С помощью Jmix ОПУС ТЭК разработал отдельный модуль единого информационного пространства.
    Подробнее
    Банки и финансы

    Модернизация банковской системы и платформы для генерации отчетов в IT Consultores

    О том как команда IT Consultores работала над миграцией банковского ПО на Jmix и получила Design Talent Awards.
    Подробнее
    Транспорт и логистика

    Электронная торговая площадка для судоходной индустрии, разработанная компанией Compiler на Jmix

    Полнофункциональная торговая платформа для судоходной индустрии, созданная одним разработчиком
    Подробнее
    Энергетика

    Информационно-мониторинговая система «нефтепереработка и реализация»

    Универсальная система для нефтеперерабатывающих компаний, разработанная на базе Jmix.
    Подробнее
    Профессиональные услуги

    Админ-панель сайта с каталогом продукции на Jmix за 2,5 месяца

    Разработка полноценного бэкенда сайта с автоматизацией каталога и вакансий и обратной связи от клиентов за 2 недели.
    Подробнее
    Профессиональные услуги

    Inline Asset Management: Разработка систем автоматизации управления IT-активами

    Разработка решения для управления ИТ-активами на замену Micro Focus за 1 год.
    Подробнее
    Транспорт и логистика

    Разработка системы для расчета экономии на топливе

    Создание системы для эффективного планирования заправок на Jmix. Для автопарка из 100 машин она поможет сэкономить около 10,8 млн рублей за год.
    Подробнее
    Транспорт и логистика

    Разработка системы управления заказами и планами перевозок в Федеральной грузовой компании

    Сокращение времени рассмотрения заказов в транспортной компании на 30% за счет разработки системы управления заказов на Jmix.
    Подробнее
    Банки и финансы

    Почему Jusan Bank выбрал Jmix для цифровой трансформации

    Как Jusan Bank оцифровал бизнес-процессы и разработал 13 приложений на Jmix.
    Подробнее
    Профессиональные услуги

    Разработка системы обезличивания баз данных

    «CTSG» создали микросервисное приложение на Jmix для обнаружения чувствительных данных в базах клиентов и их обезличивания.
    Подробнее