Senior Data Engineer

Требования: Опыт работы Data Engineer от 5 лет. Знание методологии Data Vault 2.0. Уверенное знание Python, Scala или Java для разработки ETL/ELT-процессов и сервисов обработки данных. Отличное знание SQL, опыт оптимизации сложных запросов и работы с большими объемами данных. Опыт проектирования и разработки промышленного Data Warehouse, Data Lake или Lakehouse. Практический опыт работы с Apache Spark, Apache Airflow и Apache Kafka, а также системами потоковой обработки данных. Опыт работы с HDFS, Parquet, Avro, Hadoop, Apache Iceberg или современными платформами хранения и обработки данных. Опыт работы с PostgreSQL, Oracle, ClickHouse и Greenplum. Уверенное владение Git и понимание CI/CD. Опыт работы с Jira, Confluence или аналогами. Понимание принципов построения отказоустойчивых и масштабируемых решений. Опыт использования dbt и внедрения Data Quality решений, например Great Expectations или Soda. Опыт работы с инструментами Data Catalog и Data Governance. Задачи: Проектирование, разработка и сопровождение масштабируемых решений по интеграции, обработке и хранению данных в корпоративной платформе данных. Разработка и оптимизация batch- и streaming-пайплайнов, ETL/ELT-процессов. Проектирование моделей данных для аналитических и операционных сценариев. Оптимизация производительности обработки данных и SQL-запросов. Обеспечение качества данных: валидация, мониторинг и контроль полноты. Участие в проектировании архитектуры платформы данных и выборе технологических решений.…