ML Engineer (Entity Resolution)

Описание Компания ищет инженера для создания и масштабирования платформы разрешения сущностей, использующей ИИ, машинное обучение, поисковые технологии и распределённые системы для обработки сотен миллионов записей.

Задачи • Проектировать и эксплуатировать крупномасштабные системы обработки данных на Python, Spark и SQL • Разрабатывать возможности сопоставления сущностей, дедупликации, кластеризации и поиска • Создавать и оптимизировать конвейеры данных с помощью Spark, Airflow и DBT • Повышать точность сопоставления, полноту, производительность и масштабируемость • Разрабатывать аналитические модели данных и оптимизировать крупномасштабные запросы SQL • Внедрять средства проверки и отслеживать показатели качества данных

Требования • Опыт разработки программного обеспечения от 5 лет • Уверенное владение Python • Практический опыт использования Apache Spark или Databricks в продуктивной среде • Уверенное владение SQL и опыт работы с крупными наборами данных • Понимание распределённых систем и приложений с интенсивной обработкой данных • Опыт сопоставления по сходству, поиска, разрешения сущностей или смежных областей • Умение находить баланс между точностью, производительностью, масштабируемостью и затратами • Будет плюсом: опыт работы со Snowflake или аналогичными облачными хранилищами данных, Airflow, DBT или аналогичными инструментами оркестрации, системами разрешения сущностей, сопоставления записей или дедупликации, векторными представлениями, векторным поиском,…