logo
Big Data

PALM. Big data, streaming y microservicios todo en uno.

Guillem Borrell Nogueras

  • 9 de Octubre de 2016, 15:30 - 16:10
  • Sala Cajamar
  • Idioma: es

PALM (y su implementación en Python, pylm) es una librería que proporciona las herramientas necesarias para crear servidores ligeros de altas prestaciones. Está separada en dos niveles de abstracción. El primero consta de componentes básicos que pueden utilizarse para crear cualquier tipo de servidor, mientras que en el segundo nivel se ofrecen servidores preparados para implementar topologías master-slave, clusters para map-reduce o microservicios, que se pueden extender fácilmente.

En esta charla se tratarán las tecnologías y los algoritmos que permiten crear una librería como pylm en Python en menos de un año, se comentarán las dificultades superadas y los desafíos tecnológicos pendientes.

PALM se está convirtiendo en la base las nuevas herramientas de NFQ solutions, como MASTR, una aplicación de nueva generación para la evaluación escalable de riesgos financieros o eCAP, que estima necesidades de capital.

PALM, y por extensión pylm, aún no están terminados, pero ofrecen un acercamiento alternativo al ecosistema de Big Data, que está tendiendo a las herramientas de alto nivel. Los primeros resultados son prometedores. La misma versión de eCAP portada a PALM demostró ser ligeramente más rápida que la misma implementación con Spark.

Acerca de

Ingeniero Aeronáutico y Doctor en Ingeniería Aeroespacial por la Universidad Politécnica de Madrid.

Después de ayudar a empresas de ingeniería a optimizar sus procesos de simulación me doctoré intentando entender el comportamiento de los flujos turbulentos. Para ello tuve que usar miles de procesadores y analizar cientos de terabytes de datos. Ahora, como investigador en la UC3M desarrollo herramientas para que las grandes empresas puedan manejar mejor la complejidad de sus aplicaciones.

Uso y enseño Python para cálculo numérico y análisis de datos desde hace más de una década y es una herramienta de trabajo fundamental para mi. Si quieres saber más mi pagina web es guillemborrell.es y mi twitter @guillemborrell