Kapital Bank реализует один из крупнейших в Азербайджане проектов по созданию единого корпоративного хранилища данных. Совместно с партнерами ИТ-интегратором Databorn и вендором программного обеспечения Alphyn банк внедряет инновационную систему обработки данных на базе универсальной open-source платформы Alphyn Lakehouse. По результатам первой фазы проекта миграции Kapital Bank утвердил Alphyn Lakehouse как целевое решение для построения новой модели ядра хранилища данных и аналитических витрин.
Операционализация данных в “озере” является новым технологическим подходом. По сравнению с классическими методами, Lakehouse предлагает более гибкие возможности для аналитики при оптимизации хранения данных и упрощении процессов настройки, обеспечивая высокую производительность при минимальных затратах.
Переход к решению такого класса позволяет банку сменить парадигму управления данными, перейти к наиболее современному способу хранения и обработки больших данных, а также, за счет сокращения срока обновления данных, получить качественно новый инструмент для аналитической отчетности и бизнес-приложений.
Платформа Alphyn Lakehouse позволяет хранить и обрабатывать все данные организации в одной точке, вне зависимости от того, что эти данные собой представляют, – новейшие высокопроизводительные инструменты, которые лежат в основе решения, дают возможность загружать и обрабатывать традиционные табличные формы, а также файлы любого типа, размера и формата, в том числе не имеющие четкой структуры (аудио, видео, интернет-трафик). Кроме того, Alphyn Lakehouse способна принимать данные во всех возможных режимах: batch, near real-time, real-time; предоставлять доступ сотням пользователей одновременно, а главное – за счет парадигмы, заложенной в любую зрелую Lakehouse-платформу, выдерживать значительно большую по отношению к MPP-решениям (Massive parallel processing – “массово-параллельная архитектура”) нагрузку. Платформа также ориентирована на быстрое построение пользовательских "песочниц", которые в том числе можно использовать как базу для ModelOps: воспроизводить полный жизненный цикл моделей, решать AI-задачи, и всё это – без какой-либо модификации платформы.
Для эффективной работы Alphyn Lakehouse в Kapital Bank команда Databorn реализовала ряд архитектурных решений. В частности, использовала специализированную подсистему S3 (Minio), которая обеспечивает высокую надежность и отказоустойчивость всей системы хранения данных. Для обработки неструктурированных и структурированных данных служат комплиментарные технологии Spark и Impala. В основу решения также встроен Apache Iceberg – файловый формат с открытым исходным кодом, предназначенный для высокопроизводительного чтения объемных аналитических таблиц и модификации данных без их полной перезаписи. Синхронизация данных между источниками и платформой в режиме near-realtime происходит благодаря шине данных, построенной на Kafka + Debezium.
Гибкое управление ресурсами Alphyn Lakehouse обеспечивает Kubernetes. Это позволяет удобно настраивать выделенные под каждый компонент мощности и при необходимости переключать их между различными технологиями обработки данных – например, между Spark и Impala: ночью больше ресурсов выделять на Spark для ускорения регламентных работ по синхронизации данных, днем – на Impala для улучшения взаимодействия платформы с конечными пользователями.
Павел Гаманюк, управляющий директор, Databorn: “Проект миграции на новое хранилище данных – безусловно, один из самых амбициозных вызовов, с которым в условиях агрессивно растущего бизнеса может столкнуться компания, а если речь идет о смене парадигмы – сложность задачи растет экспоненциально. Наш индустриальный опыт и богатая экспертиза в подобных проектах позволили предложить клиенту наиболее релевантную, с точки зрения функционала, стоимости и масштабов бизнеса, дата-платформу – Alphyn Lakehouse. В итоге мы решили задачу со звездочкой – обновление слоя сырых данных из процессинга и других значимых источников на уровне платформы происходит в течение 30 минут после закрытия операционного дня. На таком объеме – это технологическая революция. Таким образом, в рамках этой инициативы команда Databorn по сути сформировала необходимые предпосылки для успешного старта основной фазы проекта: модификации модели данных ядра с последующим построением аналитического слоя – витрин данных для отчетности и приложений внутри платформы. Уверен, что профессионализм и решительный подход наших партнеров позволят довести этот в своем роде уникальный проект до логического конца, что позволит банку в очередной раз заявить о безусловной технологической победе над конкурентами”.
Сеймур Шабанлы, руководитель отдела управления данными Kapital Bank: “Стремительное развитие бизнеса в Kapital Bank неминуемо ведет к тому, что используемые устаревшие технологии как основной пререквизит роста превратились в ограничения, замедляющие дальнейшее масштабирование. Ряд задач, предусмотренных дорожной картой развития Kapital Bank, могут решаться только на принципиально новой технологической базе. Поэтому мы совместно с компанией Databorn заложили в проект реинжиниринга хранилища данных самые современные и инновационные решения, такие как Alphyn Lakehouse. За счет использования этой технологии мы сможем удовлетворить потребности бизнеса в скорости обработки информации, закрыть потребности в оптимизации затрат на инфраструктуру и обеспечить качественное и быстрое масштабирование по всем направлениям деятельности компании, в том числе экосистемы Bir Ecosystem. Наша конечная цель – подтвердить позиции Kapital Bank как ведущего технологического игрока финансового рынка в регионе и за его пределами”.
***
Kapital Bank, являющийся неотъемлемой частью экосистемы Bir и правопреемник Сбербанка в Азербайджане, уже более 150 лет успешно осуществляет свою деятельность в финансовом секторе страны. Сегодня Капитал Банк — это крупнейшее финансовое учреждение с самой разветвлённой сетью филиалов и сервисных центров в Азербайджане. Банк является учредителем и акционером Бакинской фондовой биржи и Бакинской межбанковской валютной биржи, а также активным членом Ассоциации банков Азербайджана.
Экосистема Bir объединяет под единым брендом ведущие компании страны – Birbank, Birmarket, m10 и MilliÖn, обеспечивая пользователям единое пространство для повседневных финансовых и потребительских операций. Наряду с этим, Bir активно сотрудничает с рядом стратегических партнёров, таких как Trendyol Azerbaijan и BakıKart, что значительно расширяет возможности экосистемы и делает клиентский опыт ещё более удобным и разнообразным.
Databorn – консалтинговая компания, предлагающая широкий спектр ИТ-решений для компаний из различных сфер: от банковского сектора и страховых до ритейла и промышленности. Databorn помогает клиентам улучшить свой бизнес и повысить его эффективность с помощью data-driven решений. Компания специализируется на таких областях, как BI и Big Data, финансовая аналитика и риск-менеджмент, DWH, CRM-системы, Data Science, Data Governance, Machine Learning, RPA, IoT, BPM, AML и прочие.
Databorn – это высокая экспертиза и качество выполненных проектов. В штате компании – только высококвалифицированные специалисты, которые имеют многолетний опыт работы в ИТ-сфере. https://databorn.ai/
Alphyn – разработчик ИТ-решений для бизнеса из ОАЭ. Благодаря 15-летнему опыту работы в консалтинге и с ведущими вендорами, компания создает высокопроизводительные решения, востребованные в финансовом секторе, телекоме, ритейле, e-commerce, на производстве. Продукты Alphyn позволяют компаниям развивать CVM-маркетинг; автоматизировать задачи ПОД/ФТ, работать с кредитными и другими видами рисков; решать вопросы в сфере аналитики данных, машинного обучения и MLOps; хранить большие данные и управлять ими.