Data Engineer

Описание Акционерное общество «Страховая компания «Казахмыс» - одна из лидирующих страховых компаний Казахстана, верный партнер множества Клиентов из различных сфер деятельности и надежный поставщик услуг страхования и перестрахования, уверенно прошедший проверку временем. Мы №1 в рейтинге страховщиков Казахстана. По версии журнала «Forbes Kazakhstan» в 2022 и 2023 годов. Наша команда профессионалов предоставляет индивидуальные решения для каждого отдельного Клиента, что позволяет обеспечить качественное предоставление услуг. Мы в поиске Дата-инженера middle+!

Задачи • Основной владелец корпоративного хранилища данных. Платформа построена своими силами: PostgreSQL как ядро, ClickHouse сверху, оркестрация в Airflow. От неё зависят все продукты компании — ОГПО, кабинет выплат, Битрикс24, ИИ-направление. • Первая задача — разбор ссылочной структуры исторической базы 1С объёмом около терабайта. Данные уже выгружены в хранилище, но связи между сущностями не восстановлены, и без этого половина проектов стоит. • Это не позиция «в помощь». Человек принимает платформу и отвечает за неё. • Разбор структуры хранения 1С: соответствие метаданных физическим таблицам, составные ссылочные типы, автоматическое построение словаря; • DAG в Airflow: загрузки из 1С, СЭД, Битрикс24, внутренних сервисов; • Слои хранилища в PostgreSQL, аналитические витрины в ClickHouse; • Историчность: версии, интервалы действия, восстановление состояния на дату; • Качество данных: проверки внутри пайплайнов,…