Ingeniero de Datos Senior: Apache Spark y Azure Databricks

hace 7 días

Lima Metropolitana, Perú wirbi® A tiempo completo
Ingeniero de Datos Senior: Apache Spark y Azure Databricks

El Ingeniero de Datos Senior será responsable de diseñar, desarrollar y optimizar pipelines y sistemas de datos a gran escala, asegurando que los datos sean accesibles, fiables y eficientes para su uso en análisis y procesos de negocio. Este rol requiere una sólida experiencia en tecnologías de Big Data, especialmente en Apache Spark y Azure Databricks, así como un profundo conocimiento en modelado de datos en entornos distribuidos. Colaborará con equipos multidisciplinarios para garantizar que las soluciones implementadas cumplan con los estándares de calidad y las necesidades del negocio.

Experiencia:

- Mínimo 5 años de experiencia en ingeniería de datos, con un enfoque sólido en Apache Spark y Azure Databricks.
- Experiencia comprobada en optimización de sistemas de Big Data y liderazgo técnico en proyectos de datos.
- Experto en Apache Spark y optimización de tareas dentro de Databricks.
- Dominio de Spark SQL y PySpark para consultas y transformaciones complejas.
- Experiencia trabajando con Delta Lake y comprensión de transacciones ACID.
- Conocimiento avanzado en particionamiento y ordenación de datos (vORDER Partitioning).
- Experiencia en diseño y desarrollo de pipelines de ETL/ELT.
- Fuerte comprensión de modelado de datos en entornos de Big Data, incluyendo modelado dimensional y desnormalización.
- Integración con Azure Data Lake Storage, Azure SQL y Blob Storage.
- Manejo de herramientas de control de versiones y DevOps en Databricks, incluyendo Databricks Repos.
- Desarrollo y Optimización de Sistemas de Datos: Diseñar y desarrollar pipelines de datos utilizando Apache Spark y Azure Databricks, optimizando las tareas mediante técnicas avanzadas como particionamiento, caching y ajuste de parámetros.
- Gestión de Datos con Delta Lake: Trabajar con Delta Lake para gestionar grandes volúmenes de datos, incluyendo operaciones de merge, upserts y manejo de transacciones ACID.
- Optimización del Rendimiento: Implementar particiones y ordenación de datos eficientes (vORDER Partitioning) para mejorar el rendimiento de las consultas y el acceso a datos en grandes tablas de hechos.
- Desarrollo de Pipelines ETL/ELT: Diseñar y mantener pipelines robustos que gestionen la ingesta, transformación y carga de datos, incluyendo mecanismos de manejo de errores y reintentos automáticos.
- Modelado de Datos: Diseñar modelos de datos en entornos de Big Data, utilizando esquemas en estrella y copo de nieve, y crear tablas agregadas para mejorar el rendimiento de las consultas analíticas.
- Integración con Servicios de Azure: Integrar y gestionar Azure Data Lake Storage, Azure SQL y Blob Storage dentro de los pipelines de datos.
- Colaboración y DevOps: Utilizar Databricks Repos y herramientas de control de versiones para gestionar el código y colaborar con el equipo de ingeniería, promoviendo prácticas de DevOps.
- Innovación y Mejora Continua: Investigar y adoptar nuevas tecnologías y tendencias en ingeniería de datos que puedan mejorar los productos y procesos.

#J-18808-Ljbffr

  • Ingeniero de Datos Senior en Big Data y Azure

    hace 7 días

    Lima Metropolitana, Perú wirbi® A tiempo completo

    Descripción del PuestoEl Ingeniero de Datos Senior en wirbi trabajará con tecnologías de Big Data, especialmente con Apache Spark y Azure Databricks para diseñar y desarrollar pipelines de datos robustos. Este rol requiere una sólida experiencia en ingeniería de datos, optimización de sistemas de Big Data y liderazgo técnico en proyectos de...

  • Análisis y Desarrollo de Sistemas de Datos

    hace 7 días

    Lima Metropolitana, Perú wirbi® A tiempo completo

    Requisitos del CargoPara este puesto, buscamos a un Ingeniero de Datos con experiencia comprobada en optimización de sistemas de Big Data y liderazgo técnico en proyectos de datos. El candidato ideal deberá tener conocimientos profundos en modelado de datos en entornos distribuidos, así como experiencia en diseño y desarrollo de pipelines de...

  • Data Engineer Cloud Azure Senior

    hace 7 días

    Lima, Perú ZAT A tiempo completo

    **¿Quiénes somos?** Somos un equipo de profesionales especializados en tecnologías de la información. Actualmente, contamos con el mejor equipo de ingenieros, liderados por especialistas con más de 10 años de experiência para ofrecer soluciones a nuestros clientes a través de la innovación, usabilidad, escalabilidad y disponibilidad. ZAT Consulting...

  • Data Architect Senior

    hace 6 días

    Lima, Perú WTW A tiempo completo

    **Responsibilities**: - Leading the architecture and implementation of Spark and Databricks-based ETL frameworks for large-scale enterprise systems. - Designing and developing high-throughput data pipelines using Spark core and streaming technologies. - Implementing and enforcing architectural standards and frameworks to ensure a flexible and scalable data...

  • Ingeniero de Datos

    hace 6 días

    Lima Metropolitana, Perú Stefanini LATAM A tiempo completo

    En Stefanini somos más de 30.000 genios, conectados desde 41 países y trabajando juntos para co-crear un futuro mejor.La misión de nuestro equipo es asegurar la eficiencia y escalabilidad de nuestra infraestructura de datos.ResponsabilidadesEl desarrollo de procesos automatizados para la extracción, transformación y carga (ETL) de datos ayuda a reducir...

  • Especialista en Inteligencia de Negocios

    hace 5 días

    Lima Metropolitana, Perú Softtek A tiempo completo

    Resumen del CargoSomos una empresa global que ofrece servicios orientados a procesos de TI. Estamos buscando un perfil de especialista en inteligencia de negocios para unirnos a nuestro equipo.Descripción del CargoEl cargo requiere experiencia como arquitecto de datos con mínimo 4 años de experiencia. Es deseable tener experiencia en sector...

  • Azure Data Modeler Senior

    hace 2 semanas

    Lima, Perú BCP A tiempo completo

    **AZURE DATA MODELER SENIOR** Queremos que tu talento se sume al del BCP, para seguir siendo el banco que todo el tiempo está innovando, es pionero y digital. Juntos tendremos la posibilidad de generar un impacto positivo en nuestro país, teniendo como objetivo que los peruanos logren transformar sus planes en realidad ¡Sé parte de nuestro equipo...

  • MLOps Developer

    hace 2 días

    Lima Metropolitana, Perú Tekton Labs A tiempo completo

    **Job Summary:**We are looking for a highly skilled Machine Learning Model Developer to join our team at Tekton Labs. As a Machine Learning Engineer, you will be responsible for developing and optimizing AI models for various applications.Responsibilities:Design and implement scalable data ingestion pipelines using Azure Data Factory, Prefect, Apache...

  • Senior Azure Data Engineer

    hace 3 semanas

    Lima, Perú Bertoni Solutions A tiempo completo

    Company Description We are a multinational team of individuals who believe that with the right knowledge and approach, technology is the answer to the challenges that business face today. We have been bringing this knowledge and approach to our customers since 2016, helping them translate technology into their success. With Swiss roots and our own...

  • Data Engineer Senior

    hace 2 semanas

    Lima, Perú BCP A tiempo completo

    **BCP - Otras posiciones** **Lima, Perú**: **Full-time**: **Senior**: **Tecnología Informática**: **Beneficios**: - Planilla**Acerca del empleo**: Queremos que tu talento se sume al del BCP, para seguir siendo el banco que todo el tiempo está innovando, es pionero y digital. Juntos tendremos la posibilidad de generar un impacto positivo en nuestro...

  • Ingeniero de Datos

    hace 2 días

    Lima, Perú Dwconsulware A tiempo completo

    **Descripción del Puesto:**Nuestra empresa busca un ingeniero de datos junior para formar parte de nuestro equipo dinámico y colaborativo. Como miembro de nuestra área de tecnología, sistemas y telecomunicaciones, tendrás la oportunidad de trabajar con datos y desarrollar soluciones innovadoras y eficientes.**Funciones del Perfil:**Habilidades blandas...

  • Data Engineer Azure Gcp Aws

    hace 7 días

    Lima, Perú INDRA S.A de C.V A tiempo completo

    **Más digital. Más humano. Más Minsait.** Somos una empresa líder global de tecnología y consultoría digital que conecta personas, tecnología y negocios para generar crecimiento, transformación e impacto positivo y sostenible. Buscamos **DATA ENGINEER** con ganas de trabajar en nuestros equipos multidisciplinares. **¿Cuál es el reto que te...

  • Científico de datos

    hace 5 días

    Lima Metropolitana, Perú Softtek A tiempo completo

    Somos es un proveedor global de servicios orientados a procesos de TI con más de 30 oficinas en Norteamérica, Latinoamérica, Europa y Asia. Maximizamos el valor del software para el mundo: Creamos, Probamos, Implementamos y damos mantenimiento a sistemas que empoderan organizaciones e individuos. En la actualidad nos encontramos en la búsqueda de un...

  • Técnico Senior en Integración de Datos

    hace 3 días

    Lima, Perú Tata Consultancy Services A tiempo completo

    Acerca del CargoBuscamos a un especialista en Data Engineer con amplia experiencia en implementaciones de Data Factory y flujo de trabajo usando Microsoft Power BI y Databricks. Deberá utilizar sus habilidades técnicas y experiencia para analizar, diseñar y desarrollar soluciones integrales de análisis de datos que beneficien nuestro...

  • Azure Data Engineer

    hace 1 semana

    Lima, Perú NTT DATA A tiempo completo

    NTT DATA somos todas las personas que la formamos. Un equipo de más de 139.000 profesionales, tan diverso cómo diversos son los 50 países en los que estamos presentes y los diferentes sectores en los que desarrollamos nuestra actividad; telecomunicaciones, entidades financieras, industria, utilities, energía, administración pública y...

  • Arquitecto

    hace 2 semanas

    Lima, Perú Factor IT A tiempo completo

    En FactorIT estamos buscando a un Arquitecto con experiência de tres años en puestos similares. ¿Qué esperamos de nuestro Arquitecto? Experiência en tecnologías big data e implementación de sistemas de procesamiento de datos distribuidos a gran escala. Conocimientos en la implementación y uso de los principales componentes de arquitecturas Big...

  • Senior Data Engineer

    hace 2 semanas

    Lima, Perú Home Delivery Perú A tiempo completo

    **Descripción empresa**: Somos Falabella, UN equipo diverso con más de 100 mil colaboradores compuesto por grandes marcas: Falabella Retail, Sodimac, Banco Falabella, Seguros Falabella, Tottus, Mallplaza, Open Plaza y Linio. Hoy tenemos presencia en 7 países de América Latina, además de oficinas en China e India. Cada día es diferente, trabajamos en...

  • Data Engineer Azure

    hace 5 días

    Lima, Perú Anónimo S.A.C A tiempo completo

    Te invito a postular al puesto de DATA ENGINEER AZURE: - **Requisitos**:_ - Colocar DNI en tu CV para validación. - Técnico y/o Universitario de Ing. de Sistemas, Ing Informática o afines. - Experiência mínima de 2 años a más en Data Engineer en AZURE. - Experiência solida en el manejo de base de datos Azure SQL y Oracle. - Experiência en...

  • Senior Machine Learning Model Developer

    hace 2 días

    Lima Metropolitana, Perú Tekton Labs A tiempo completo

    **Job Details:****Job Title:**Machine Learning Optimization Engineer**Job Summary:**Tekton Labs is seeking an experienced Machine Learning Optimization Engineer to join our team. As a key member of our AI engineering team, you will be responsible for optimizing AI models for various applications.Responsibilities:Develop and optimize AI models for document...

  • ingeniero de datos senior

    hace 6 días

    Lima, Perú Business IT A tiempo completo

    Tareas:- Databricks- Microsoft Fabric- Power BI- ETL: Data Factory, Power Query, AWS Glue- DP-600 Microsoft Fabric Analytics Engineer AssociateSeniority levelMid-Senior levelEmployment typeFull-timeJob functionInformation TechnologyIndustriesIT Services and IT Consulting#J-18808-Ljbffr