Data Engineer
- Company
- Distrito
- Location
- São Paulo, Brazil
- Salary
- 950 BRL/mo
- Posted
- 2026-11-17
Skills: Airflow, AWS, Azure, BigQuery, Data Lake, dbt, Docker, ELT, ETL, GCP, Kafka, Kubernetes, Machine Learning, NoSQL
O Data Engineer focado em AI é responsável por construir a infraestrutura que viabiliza Machine Learning e aplicações de Generative AI. Ele garante que dados estejam organizados, confiáveis, acessíveis e escaláveis para treinamento e inferência.
É um perfil orientado a arquitetura, escalabilidade e performance.
Responsabilidades:
• Construir pipelines de ingestão batch e streaming • Estruturar data lakes e data warehouses • Criar datasets otimizados para ML • Implementar pipelines de embeddings • Construir indexação vetorial para RAG • Garantir qualidade, governança e segurança de dados • Otimizar custo de armazenamento e processamento • Trabalhar com AI Engineers para estruturar feature stores
Requisitos:
Linguagens:
• Python • SQL avançado • Scala (opcional)
Orquestração & Transformação
• Apache Airflow • dbt • Prefect
Processamento de Dados
• Spark • Pandas • PySpark
Armazenamento
• Data Lakes (S3, GCS, Azure Blob) • Data Warehouses (BigQuery, Snowflake, Redshift) • Bancos NoSQL • Bancos vetoriais (Pinecone, Weaviate, FAISS)
Streaming
• Kafka • Pub/Sub
Infraestrutura
• Docker • Kubernetes • Cloud (AWS, GCP ou Azure)
Hard Skills
• Modelagem de dados • ETL / ELT • Processamento distribuído • SQL avançado • Arquitetura de dados escalável • Experiência com dados não estruturados (texto, logs, PDF) • Conceitos de DataOps • Versionamento e qualidade de dados
Benefícios
Vale-refeição e/ou vale-alimentação de R$950,00 por mês no cartão Ifood;
Convênio Médico…
Full text and application on the employer's site.