Archivo a largo plazo en el cloud para Copernicus
OVHcloud y Werum
Archivado a largo plazo
en el cloud
Servicio 24/7 para
datos históricos de observación de la Tierra
Escalabilidad y alta disponibilidad
en el cloud público
El contexto
Werum proporciona grandes cantidades de datos a usuarios de todo el mundo de forma segura y fiable
Werum Software & Systems AG, con sede en Lüneburg, es una de las empresas de software independientes más antiguas de Alemania. Werum crea software y sistemas sofisticados para una clientela global, incluyendo numerosas empresas conocidas de las industrias del automóvil y aeroespacial, así como institutos científicos y clientes del sector público. Sus actividades se centran en el apoyo a procesos específicos de los clientes en las áreas de datos de medición y gestión de la información, gestión de datos de pruebas para ingeniería mecánica, observación de la Tierra, administración electrónica y gestión de la información empresarial. Sus soluciones de software se basan en plataformas desarrolladas específicamente con este fin.
En nombre de la Comisión Europea y de la ESA, Werum ha creado un servicio de archivado a largo plazo para Copernicus en el Public Cloud de OVHcloud. Cubre los llamados datos de nivel 0 y datos auxiliares de los satélites de observación de la Tierra Sentinel-1, Sentinel-2 y Sentinel-3. Desde su lanzamiento en octubre de 2020, se han cargado en el archivo del cloud público 220 millones de conjuntos de datos que suman más de 9 petabytes. Alrededor de 110 terabytes se siguen añadiendo cada mes. Además, su capacidad actual permite que usuarios específicos descarguen 10 terabytes a diario.
El desafío
Alta disponibilidad, alto rendimiento y capacidad de escalar
En el pasado, los segmentos terrestres de observación de la Tierra se establecieron de nuevo para cada misión. Parte de estos segmentos terrestres son archivos a largo plazo para los cuales se tuvo que mantener disponible una infraestructura grande y muy intensiva en cuanto a mantenimiento. Los servicios de software necesarios se ejecutaban en datacenters dedicados cuyo rendimiento debía optimizarse para la gestión de datos de una misión de satélite específica. Las operaciones también requerían un equipo formado especialmente para resolver incidentes críticos relacionados con el hardware y el software.
El nuevo «archiving-as-a-service» necesitaba proporcionar las funcionalidades existentes en el cloud de una manera escalable y portátil. Los requisitos para el servicio de archivado eran una alta disponibilidad de la infraestructura, un alto rendimiento en cuanto a ancho de banda y solicitudes de almacenamiento, así como la capacidad de escalar la configuración de la infraestructura. Además, se debía almacenar una gran cantidad de datos listos para su recuperación.
Werum opera el servicio de archivado con un software altamente especializado y exige requisitos específicos de su proveedor de cloud. Este proveedor debe ofrecer un soporte fiable las 24 horas del día, los 7 días de la semana, así como una gama flexible de infraestructuras técnicas para garantizar que la solución de software pueda configurarse y optimizarse libremente, ya que no está basada en plataformas cloud típicas.
Werum colabora con OVHcloud en este proyecto con el objetivo de crear un archivo innovador como servicio competitivo.
La solución
Procesamiento y almacenamiento de varios petabytes de datos en el menor tiempo posible
Werum tiene una extensa trayectoria en la creación y administración del software necesario, por lo que ya cuenta con la experiencia necesaria para estos nuevos requisitos.
La infraestructura cloud corre a cuenta de OVHcloud. Como parte de esta infraestructura, Werum ha seleccionado un servidor bare metal de alto rendimiento para la orquestación de servicios centralizada. El procesamiento de datos es escalable y se distribuye en varias instancias public cloud diferentes, mientras que el cloud archive público y el object storage en cloud público se utilizan para el almacenamiento de datos igualmente escalable. El procesamiento de datos implica varios pasos, como comprobaciones de integridad, extracción de metadatos, seguimiento de servicios externos específicos y almacenamiento de información. También garantiza que los datos puedan volver a leerse. El equipo de servicio de Werum se ha suscrito al Soporte Enterprise de OVHcloud para analizar y encontrar rápidamente soluciones en caso de problemas de infraestructura. Los distintos servicios cloud del archivo a largo plazo de Copernicus contribuyen a hacer frente a los retos en varios niveles. En primer lugar, la cantidad de datos que se almacenan es muy grande. La capacidad de generar varios petabytes de capacidad de almacenamiento en un espacio de tiempo muy corto fue, por lo tanto, un factor crucial para la selección del proveedor. Gracias a las diferentes opciones de instancias Public Cloud para el procesamiento de datos, ha sido y es posible crear y garantizar una escalabilidad a corto plazo en el proyecto tanto en términos de velocidad de data processing como de las capacidades de red necesarias.
El resultado
Desde octubre de 2020, Werum opera el archivo a largo plazo de Copernicus en nombre de la ESA. Esta solución de software especializada ofrece a Werum un servicio las 24/7 para proporcionar a los usuarios los datos históricos de observación de la Tierra de varias misiones de satélites Sentinel, garantizando al mismo tiempo un nivel muy alto de disponibilidad. Decantarse por OVHcloud ya ha demostrado su eficacia en la fase operativa del servicio, precisamente porque los requisitos técnicos de los componentes de software necesarios pueden asignarse con flexibilidad a las distintas instancias del servidor. Además, la buena comunicación con el Technical Account Manager garantizó un soporte específico. Esto permitió al equipo de servicio trasladar cualquier requisito técnico a OVHcloud en una fase temprana, por ejemplo, en situaciones en las que la previsión de los volúmenes de almacenamiento previstos cambiaba significativamente.
Tras el éxito de la primera fase del proyecto, la operación de archivado en el cloud se ha ampliado y seguirá proporcionando a la comunidad de usuarios de la ESA grandes volúmenes de datos de las misiones de satélites después de 2022.
