Data Architect - BigData - Madrid

Big Data: HDFS, Hive, Kafka, Zookeeper, Flume, Sqoop

Spark

Batch : RDDs, Dataframes, Datasets, SparkSQL

Machine Learning: GraphX, GraphFrames, MLlib, ML

Real-time: Spark Streaming, Structured Streaming

Herramientas de desarrollo - Zeppelin, IntelliJ, SBT, GIT

Lenguajes - Scala, Java, Python, Shell

Entorno de desarrollo (local) - Cloudera, HortonWorks, Docker, Cassandra, Kafka

Entorno de producción (Azure) - HDInsight, Blob Storage & Data Lake Storage, DocumentDB

El perfil es de un Data Engineer/Architect con 4-5 años de experiencia en ETL Big Data que haya trabajado con proyectos Spark en Scala tanto Batch como Real-time. Ademas tiene un background como ingeniero de software (idealmente con formación como ingeniero informático + master en big data) y familiaridad con herramientas de desarrollo , control de versiones y metodología ágil.

Finalmente, buscamos un perfil con interés por el machine learning y la arquitectura técnica. Se valorara experiencia previa con GraphX y GraphFrames.

Estamos buscando un Data Architect para empresa IT que trabaja con las últimas tecnologías

Detalles del cliente
Nuestro cliente está especializado en soluciones y tecnologías Microsoft.
Desde su nacimiento ha seguido un camino de crecimiento y transformación continua, que ha dado como resultado una compañía con más de 80 personas, con una fuerte presencia en Barcelona, y con un ambicioso plan de crecimiento en Madrid.

Descripción de la oferta
Es un proyecto de Smart Cities que pretende ofrecer soluciones de movilidad B2B a los distintos operadores de Metro, Bus, Tren, ...

Para ello, además de ofrecer un portal que permita gestionar estas opciones de movilidad en torno a una aplicación .NET, el equipo de Big Data & Machine Learning está encargado de construir y alimentar a partir de los datos de las distintas agencias una plataforma de datos que permita estimar las frecuencias y composiciones más optimas de las diferentes flotas de autobuses, tren, metro, etc.

Oferta de empleo

Oportunidades de carrera y desarrollo profesional

Salario: 40.000-50.000