Java/Scala Developer (Data Lineage)

Задачи • Участвовать в PoC альтернативных решений для Apache Atlas • Разрабатывать компоненты для преобразования сообщений из формата Apache Atlas в Openlineage • Интегрировать решение со стеком Hadoop, включая Spark и Hive, а также с РСУБД • Проверять корректность сбора и отображения Data Lineage на новом решении

Требования • Уверенно знать Java Core, опыт работы — от 3 лет • Уверенно знать Scala • Знать экосистему Hadoop, в частности Spark и Hive • Отлично знать SQL, уметь составлять сложные запросы и оптимизировать их • Знать инструменты CI/CD и иметь опыт работы с ними • Будет плюсом: опыт работы с Apache Atlas, Openlineage или другими инструментами управления метаданными, понимание принципов построения графовых структур данных

Условия • Ставка — до 210 000 руб. на руки в месяц • Удалённый или гибридный формат работы • Локация и гражданство: РФ • Аутстаффинговая позиция