Data Engineer (Corporate and Government Systems)

Описание Dreamlab Technologies оказывает услуги в области бизнес-консультирования, системной интеграции, проектирования и разработки программного обеспечения для корпоративного и государственного секторов.

Задачи • Разрабатывать и поддерживать ETL/ELT-пайплайны на Python • Интегрировать данные из различных источников: API, баз данных, файлов и облачных хранилищ • Работать с хранилищами и базами данных PostgreSQL, MySQL, MS SQL, ClickHouse и другими • Настраивать и сопровождать процессы в Airflow или аналогичных инструментах • Оптимизировать производительность пайплайнов и SQL-запросов • Переносить большие объёмы данных между системами хранения, обеспечивая целостность и минимизируя простои • Участвовать в проектировании архитектуры инфраструктуры данных • Сотрудничать с аналитиками, разработчиками и командой Data Science

Требования • Опыт работы Data Engineer или Python-разработчиком от 2 лет • Уверенное знание Python 3.x и умение писать чистый, поддерживаемый код • Практический опыт работы с процессами ETL/ELT • Хорошее знание SQL и опыт работы с реляционными базами данных • Опыт работы с системами оркестрации задач: Airflow, Prefect или другими • Опыт работы с Apache Spark, Data Lake / Data Warehouse и Kafka • Опыт работы с системами контроля версий Git и контейнерами Docker • Знание архитектуры Data Lake / Data Warehouse

Условия • Официальное трудоустройство согласно Трудовому кодексу Республики Казахстан • График 5/2, с 09:00 до 18:00 • Зарплата обсуждается по итогам…