Data Engineer

• migracja platformy danych z Cloudera (on-premise) do architektury opartej na Google Cloud Platform (GCP) oraz wdrożenie nowych rozwiązań Data/AI w chmurze, • opracowanie strategii i ścieżki migracji, w tym podejścia oraz rekomendacji technicznych, • przeniesienie i modernizację istniejących procesów z wykorzystaniem usług GCP, • projektowanie i implementację rozwiązań Data/AI z wykorzystaniem Dataproc, Dataflow, BigQuery, Cloud Composer oraz narzędzi automatyzacji, • lokalizacja projektu: Katowice, • budżet projektu: do 200 PLN/h + VAT, w zależności od doświadczenia oraz zakresu świadczonych usług.

Kogo poszukujemy?

• doświadczenie w realizacji projektów migracyjnych z on-premise do środowisk chmurowych, mile widziane doświadczenie z platformą Cloudera lub innymi rozwiązaniami opartymi na Hadoop, • bardzo dobra znajomość języka Python, w szczególności w obszarze ETL, budowy pipeline’ów danych oraz automatyzacji, • bardzo dobra znajomość języka Java, • umiejętność projektowania i architektowania rozwiązań danych w GCP z uwzględnieniem skalowalności, bezpieczeństwa oraz optymalizacji kosztów, • praktyczna znajomość narzędzi do orkiestracji, CI/CD oraz automatyzacji, takich jak Airflow, Git, Terraform lub rozwiązania równoważne, • bardzo dobra znajomość języka angielskiego na poziomie C1, umożliwiająca codzienną komunikację, prowadzenie warsztatów technicznych oraz przygotowywanie dokumentacji projektowej, • doświadczenie w analizie istniejących rozwiązań legacy oraz…