logo
Big Data

La gran explosión de datos en astronomía. Cómo sobrevivir a la avalancha de datos usando Python.

Jose Sabater Montes

  • 9 de Octubre de 2016, 16:10 - 16:30
  • Sala Cajamar
  • Idioma: es

El volumen de datos de las observaciones astronómicas se hay ido duplicando año tras año. Con la inminente llegada de nuevas infraestructuras astronómicas se espera que el crecimiento sea aún más acelerado. Por ejemplo, el Large Synoptic Survey Telescope (LSST) obtendrá 30 TB de datos y disparará 2 millones de eventos cada noche durante 10 años a partir de 2022. El radio-telescopio Square Kilometre Array (SKA) producirá 160 TB de datos en bruto o 100 GB de datos procesados por segundo y deberá almacenar un total de ~4.6 EB de datos cada año. La primera fase de SKA entrará en servicio en 2020. La llegada de este torrente de datos es inminente y su procesado y almacenamiento está lejos de ser trivial. Entre los muchos frentes necesarios para tratar estos datos se encuentran la Inteligencia Artificial, las tecnologías de "big data" o la ciencia ciudadana.

LOFAR es uno de los radio-telescopios precursores de SKA y se encuentra actualmente operativo. Se trata de un radio-telescopio definido por software que observa el cielo en frecuencias entre los 10 y los 250 MHz. Los datos de una observación de 8 horas alcanzan los 20 TB y su calibración, además de ser completamente experimental, requiere unos 3 años de procesador. En la charla mostraré cómo se pueden manejar datos radio-astronómicos de LOFAR con la ayuda de infraestructuras en la nube y Python. Se presentará el resultado de una propuesta conjunta entre SKA y Amazon Web Services (AWS) para la implementación de nuevos métodos de calibración de grandes volúmenes de datos radio-astronómicos en la nube de Amazon. El papel de Python para el desarrollo rápido de este tipo de métodos es fundamental, permitiendo la creación y modificación rápida de flujos de procesado de datos. El objetivo final es mostrar como la astronomía, una de las ciencias más antiguas, empuja la frontera de la tecnología más moderna con la ayuda de Python.

Acerca de

Información adicional sobre la charla

Licenciado en física y doctor en astrofísica por la Universidad de Granada realizó su doctorado en el Instituto de Astrofísica de Andalucía (CSIC). Trabaja como investigador postdoctoral en la Universidad de Edimburgo. Usuario de Python desde hace 12 años.

Se dedica al estudio del origen y evolución de los agujeros negros supermasivos que se encuentran en el centro de las galaxias teniendo en cuenta, en particular, su relación con el entorno. Actualmente se centra en el desarrollo de técnicas de calibración de grandes volúmenes de datos radio astronómicos de LOFAR, precursor del Square Kilometre Array (SKA). Lidera un proyecto promovido por el SKA y financiado por Amazon para el calibrado de datos en la nube.

Research software impact