Data Engineer

📋 Data Engineer 🏢 АБП 💰 от 300,000 RUR (net) Опыт: Более 6 лет Формат работы (hh.ru): удалённая работа Требуемые языки (hh.ru): не указаны 📍 Москва

На крупный проект требуются специалисты. Удалёнка

Требования:

- Общее представление о стеке технологий Lakehouse - Понимание различия работы между BigData/Lakehouse и с данными обычного размера - Знание SQL (индексы, функции, оптимизация, профилирование производительности - Знание языков программирования (JAVA, Python) - Опыт работы c реляционными БД (Oracle, Postgres, MySQL, MsSQL,т.п.) - Умение работать с Git (знание команд git pull/commit/push) - Опыт работы с DBT, Cosmos, Ni-Fi - Опыт разработки на Spark - Навыки использования компонентов экосистемы Hadoop: Yarn, Ranger, Zookeeper, Hive metastore - Понимание особенностей Trino - Понимание форматов данных Iceberg, Parquet, Avro - Понимание работы с minio или любого другого хранилища на основе S3 - Опыт использования системами ведения проектов и документации - Опыт разработки нетиповых интеграций (включая SAP-системы) - Опыт разработки near-realtime потоков (Flink, Debezium) - Опыт оптимизации высоконагруженных потоков (миллиарды записей инкремента) с использованием инструментов Observability (grafana, victoria metrics, zabbix)

Обязанности:

Наш стек: Greenplum, Trino, Apache Airflow, ClickHouse, Python, Spark, SQL (dbt), S3, Hadoop

- Разработка, реализация и поддержка интеграционных потоков, а также потоков сборки витрин-данных на стеке технологий, принятых в команде:…