Tech Lead Data Engineer
- Компания
- СБЕР
- Где
- Moscow, Russia
- Зарплата
- 500 тыс. ₽/мес
- Опубликовано
- 2026-10-06
Навыки: Hadoop, Iceberg, Kafka, Flink, ETL, Spark, Greenplum, Java, Scala, Python, CI/CD, Jenkins, SQL, ORC, Parquet, Avro
📋 Tech Lead Data engineer 🏢 СБЕР 💰 до 500,000 RUR (gross) Опыт: Более 6 лет Формат работы (hh.ru): работа в офисе Требуемые языки (hh.ru): не указаны 📍 Москва
Наша команда занимается амбициозной и стратегически важной задачей – построение единого хранилища данных блока B2C - централизованное и эталонное место хранения данных. Мы ищем сильного инженера данных для работы с крупными распределенными системами. Наш стек строится вокруг экосистемы Hadoop, и мы активно развиваем платформу в сторону Data Lakehouse на базе Apache Iceberg и Data Streamhouse на базе Kafka и Apache Flink. Вам предстоит работать с высоконагруженными системами, потоковой обработкой и участвовать в построении единого хранилища данных компании.
Обязанности
• разработка и оптимизация витрин данных: Проектирование и реализация эффективных ETL и ELT процессов для витрин данных с использованием Apache Spark и Greenplum. Обеспечение высокой производительности и отказоустойчивости пайплайнов. • потоковая обработка данных (RT и NRT): Разработка и поддержка стриминговых пайплайнов. Построение NRT пайплайнов обработки данных из Kafka в Apache Iceberg (Kafka2Iceberg) и RT пайплайнов между Kafka (Kafka2Kafka) с использованием Apache Flink и Spark Structured Streaming.
Архитектура данных:
• активное участие в разработке архитектуры решения потоковой обработки данных Data Streamhouse данных для обеспечения • разработка предложений по развитию Data Lakehouse, внедрение best practices работы с Apache Iceberg…
Полный текст и отклик — на странице работодателя.