Data Engineer
- Company
- Soft Strategy S.p.A.
- Location
- Italy
- Salary
- 30 000–40 000 €/yr
- Posted
- 2026-11-07
Skills: Confluence, Debezium, ELT, ETL, Git, Groovy, Hadoop, Iceberg, Jira, Kafka, MongoDB, MySQL, Apache NiFi, NoSQL, Oracle
Le tue sfide
Cerchiamo un Data Engineer da inserire nel team che sta realizzando TIDE (Trasferimento Infrastrutturale Dati ed Eventi): una piattaforma infrastrutturale di raccolta e propagazione, in tempo reale e "certificabile", degli eventi di variazione dati provenienti dai database operazionali aziendali. La soluzione si basa su un paradigma di Change Data Capture (CDC) e su un'architettura Lakehouse Medallion (Bronze / Silver / Gold) costruita su tecnologie enterprise: Confluent Kafka, Cloudera Data Platform, Apache Iceberg, Apache Spark, Apache NiFi. È un progetto in forte crescita, con roadmap pluriennale, che alimenta servizi di business come la Centrale Eventi e casi d'uso di analytics avanzato. Entrerai in un team strutturato, dove i profili senior definiscono architettura e standard: il tuo compito sarà implementare, far evolvere e mantenere robusti i flussi dati, con reale possibilità di crescere sui temi di streaming, governance e data quality.
Cosa farai
• Sviluppare e mantenere pipeline di ingestion CDC dai database sorgente verso il layer Bronze, tramite connettori Debezium / Confluent, garantendo zero data loss ed extract-once. • Realizzare ed evolvere i flussi di elaborazione tra i layer Bronze → Silver → Gold con Apache Spark / Spark Streaming in Python (PySpark) e con Apache NiFi (processori e script Groovy). • Gestire le tabelle in formato Apache Iceberg su storage Ozone, incluse evoluzioni di schema (DDL) e ottimizzazioni. • Configurare e gestire…
Full text and application on the employer's site.