Con el nuevo año, llegan algunas novedades en la distribución de productos Copernicus.

CMEMS, el servicio Copernicus marino, está cambiando el sistema de acceso automático a sus productos. Hasta ahora se podía hacer por ftp y opendap o mediante las capacidades del cliente Motu. Con la puesta en marcha del nuevo sistema, llamado Copernicus Marine Toolbox, se hará solamente a través de este toolbox, bien como una Command Line Interface bien como una API, y siempre con Python como base (de momento, solo con las versiones de Python entre 3.9 y 3.11). Todas las instrucciones de instalación y uso se encuentran en la web de CMEMS (aquí). Como el periodo de transición acaba el 29 de febrero, hay que darse prisa en adaptase a la nueva herramienta.

La manera de utilizarla es similar a la que existía con las anteriores, es decir con una llamada a la librería configurada con una palabras clave cuyos argumentos definen el producto, variable, y rango espacial y temporal a descargar. No hay grandes cambios en este sentido.

Los datos se descargan por defecto en formato netCDF, también como hasta ahora. Pero como novedad, añadiendo una opción específica pueden descargarse en formato Zarr. Para ello hay que indicar en la opción -f (de "file") la extensión zarr:

 -f nombredefichero.zarr

Zarr es un formato de almacenamiento de arrays numéricos (aunque no podemos confirmar que de  ahí venga su nombre) multidimensionales, como son frecuentes en productos de teledetección. Zarr es código abierto y se distribuye típicamente como librería para Python. Es un formato relativamente reciente: el Open Geospatial Consortium aprobó Zarr V2 como un Community Standard en junio de 2022; y el grupo de trabajo OGC para definir una implementación específica de Zarr para datos geográficos se acaba de crear.

La especificación de Zarr esta pensada para manejar grandes volúmenes de datos con la mayor eficiencia, en base a subconjuntos ("chunks") e incluyendo compresión. La utilización de chunks lo hace muy adecuado para almacenamiento distribuido, como es habitual en la nube, por lo que a veces se le presenta como "cloud-native". La organización de los datos es similar a la de HDF o netCDF; pero a diferencia de estos formatos no hay un único fichero, sino una carpeta con los subconjuntos en ficheros binarios comprimidos, y sus metadatos en fichero JSON adjuntos, como se aprecia en la figura tomada de la wiki de NASA-Earthdata. 

Es pronto para saber si Zarr se convertirá en un formato exitoso, y si por tanto iremos viendo más productos geoespaciales que lo usen. Si es así, disfrutaremos de sus ventajas pero pagaremos teniendo que modificar una vez más nuestros sistemas de descarga y proceso de datos, como nos está pasando ahora con el Copernicus Marine Toolbox.