Ingeniero PySpark

Responsabilidades

• Diseñar, desarrollar y mantener procesos de ETL/ELT utilizando PySpark y Python.
• Procesar y transformar grandes volúmenes de datos mediante arquitecturas distribuidas.
• Desarrollar pipelines de datos robustos, escalables y eficientes.
• Optimizar jobs de Spark, consultas y procesos de transformación para mejorar tiempos de ejecución y consumo de recursos.
• Trabajar con fuentes de datos estructuradas y no estructuradas.
• Integrar información proveniente de bases de datos, APIs, archivos y diferentes fuentes de información.
• Implementar procesos de validación, limpieza y transformación de datos.
• Participar en el diseño de arquitecturas de datos y soluciones Big Data.
• Monitorear y solucionar errores en pipelines y procesos de procesamiento de datos.
• Implementar buenas prácticas de desarrollo, control de versiones y documentación.
• Colaborar con Data Engineers, Data Scientists, DevOps, arquitectos y equipos de negocio.
• Participar en procesos de automatización y mejora continua de las plataformas de datos.

Requisitos técnicos

• +2 años de experiencia en Data Engineering o desarrollo de soluciones de procesamiento de datos.
• Experiencia sólida con PySpark y Python.
• Conocimiento de Apache Spark y procesamiento distribuido.
• Experiencia desarrollando procesos ETL/ELT.
• Manejo avanzado de SQL.
• Experiencia con bases de datos relacionales y/o NoSQL.
• Conocimiento de formatos como Parquet, JSON, CSV y Avro.
• Experiencia con herramientas de control de versiones, principalmente Git.
• Conocimiento de ambientes Linux/Unix.
• Experiencia con alguna plataforma Cloud como AWS, Azure o GCP.
• Deseable experiencia con servicios de datos como Databricks, AWS Glue, EMR, Azure Databricks, Synapse o similares.
• Deseable conocimiento de herramientas de orquestación como Airflow.
• Deseable experiencia con Docker y CI/CD.

• $2,000 - $3,000 a month En iCodde apreciamos el valor de tu red personal, por lo tanto, recompensamos con dinero en efectivo por compartirla. Si el puesto no es de su interés pero conoces a alguien que podría estar interesado, envíanos su contacto y recibe un beneficio económico por una contratación efectiva. De esta forma, recibes una compensación y tu contacto mejora sus condiciones laborales. ¡Una oportunidad en la que todos ganan! ¡Haga clic aquí!