Data Engineer

📋 Data Engineer 🏢 Dreamlab Technologies Ltd 💰 500,000–850,000 KZT (net) Опыт: От 3 до 6 лет Формат работы (hh.ru): работа в офисе Требуемые языки (hh.ru): не указаны 📍 Астана, проспект Туран

Обязанности:

• Разработка и поддержка ETL/ELT пайплайнов на Python • Интеграция данных из различных источников (API, базы данных, файлы, облачные хранилища) • Работа с хранилищами и базами данных (PostgreSQL, MySQL, MS SQL, ClickHouse и др.) • Настройка и сопровождение процессов в Airflow (или аналогичных инструментах) • Оптимизация производительности пайплайнов и SQL-запросов • Миграция больших объемов данных между системами хранения с обеспечением целостности и минимизацией простоя • Участие в проектировании архитектуры data-инфраструктуры • Сотрудничество с аналитиками, разработчиками и Data Science командой

Требования:

• Опыт работы в роли Data Engineer или Python-разработчика от 2 лет • Уверенное знание Python 3.x, умение писать чистый, поддерживаемый код • Практический опыт работы с ETL/ELT процессами • Хорошее знание SQL, опыт работы с реляционными базами данных • Опыт работы с системами оркестрации задач (Airflow, Prefect или др.) • Опыт работы с Apache Spark, Data Lake / Data Warehouse, Kafka. • Опыт работы с системами контроля версий (Git) и контейнерами (Docker) • Знание архитектуры Data Lake / Data Warehouse

Условия:

• Официальное трудоустройство согласно Трудовому кодексу Республики Казахстан; • График работы: 5/2, с 09:00 до 18:00; • Формат работы: офис в г. Астана; •…