Data Engineer

📋 Data Engineer 🏢 Datanomica 💰 до 200,000 RUR (gross) Опыт: От 1 года до 3 лет Формат работы (hh.ru): работа в офисе / гибридный формат работы Требуемые языки (hh.ru): не указаны 📍 Москва, Южный административный округ, Даниловский район

Мы ООО «Датаномика», собираем инженерные команды под задачи крупного бизнеса. 6+ лет на рынке, 160+ инженеров в штате, 45+ реализованных проектов в финсекторе, телекоме и ретейле. Развиваем шесть направлений экспертизы: высоконагруженные банковские системы, хранилища данных (DWH), генеративный ИИ, комплаенс-системы, кибербезопасность и импортозамещение софта. Аккредитованная ИТ-компания.

Сейчас у нас открыта вакансия Data-инженера в команду крупного российского Банка.

Что входит в задачи:

• Разработка и поддержка ядра репликации: • Проектирование и реализация высоконагруженных пайплайнов потоковой передачи данных из ERP-системы в КХД. • Разработка механизмов гарантированной доставки (at-least-once, exactly-once semantics) и обработки сбоев без потери целостности финансовых данных. • Оптимизация производительности потоков Kafka и Spark Streaming (управление партиционированием, сжатием, батчингом). • Работа с витринами данных: • Разработка ETL/ELT-процессов трансформации модели данных Банка. • Написание сложных SQL-запросов, оконных функций и хранимых процедур для агрегации банковских метрик. • Поддержка актуальности витрин данных, оптимизация их переформирования при изменении источников • Миграция данных (Data Migration): • Участие…