CNES: des données satellite en accès libre pour protéger la Terre
Temps de lecture : 5 minutes
Publié le 20 décembre 2018
Comment surveiller l’état de la Terre et son évolution ? Comment enregistrer et prévoir les changements pour mieux protéger notre planète ? Ce sont les challenges adressés par le Centre National d’Etudes Spatiales (CNES), qui s’appuie sur les données et photos enregistrées par les satellites gravitant autour de la Terre, pour les analyser et les mettre à disposition de scientifiques et du public, gratuitement sur https://peps.cnes.fr/rocket. Une mission d’intérêt public, donc, avec une architecture cloud à la hauteur des quantités de données traitées et des défis à relever. Retour sur le projet, ses coulisses, son intérêt.
Des satellites qui surveillent en permanence la Terre et son évolution… et vous donnent librement accès aux données. C’est le principe et l’intérêt de Copernicus, le programme de l’Union Européenne dédié à l’observation et la surveillance de notre planète. Un « service d’intérêt général européen, à accès libre, plein et entier », lancé en 2011, et qui repose sur 6 familles de satellites, appelés les Sentinels. Certains surveillent la croute terrestre, d’autres la biosphère terrestre et marine, ou même la topographie des terrains.
« Tous les 4 jours, ces satellites ratissent le ciel. Ils enregistrent une masse d’information gigantesque, géolocalisée, et « timée » précisément à la seconde près, » explique Jean-Pierre Gleyzes, sous-Directeur Infrastructures numériques, SI Scientifique et Applicatif du CNES. « On suit donc l’évolution de notre planète de manière très complète et très précise. Le niveau de détail est assez incroyable, on arrive à voir les bateaux qui dégazent en mer, les bâtiments détruits en cas de catastrophe naturelle, la température et la composition des océans… C’est très impressionnant. »
Des satellites pour surveiller et protéger notre planète
Avec toutes les informations enregistrées et remontées par Copernicus, les équipes de recherche du monde entier peuvent ensuite utiliser librement toutes ces données, sans restriction, pour étudier la Terre. Le but : « adresser des défis actuels comme l’urbanisation, la sécurité alimentaire, la montée des océans, et bien sûr les changements climatiques ».
Des données inestimables, mises à disposition gratuitement
Il s’agit donc d’un programme ambitieux et de très haut niveau, impliquant dans chaque domaine des expertises de pointe : Copernicus est coordonné par la Commission Européenne, tandis que les données et photos satellite sont générées par l’Agence Spatiale Européenne (ESA).
Reste ensuite à les mettre à disposition de tous, gratuitement, aussi bien des acteurs publics – institutions, centres de recherche – que des acteurs privés (start-up, laboratoires). C’est la mission de la plateforme PEPS – Plateforme d’Exploitation des Produits Sentinel – sous l’égide du Centre Européen d’Etudes Spatiales (CNES).
PEPS permet pour l’instant de rechercher, visualiser, sélectionner et télécharger les images. Des traitements adaptés aux besoins des différents usages seront prochainement proposés sur la plateforme.
« Notre feuille de route comprend plusieurs objectifs : centraliser les données satellite pour les mettre à disposition du plus grand nombre, favoriser le développement d’applications, et permettre à des PME/PMI et des partenaires de proposer et mener des traitements sur ces données, » précise Jean-Pierre Gleyzes.
Poids des données, puissance de calcul : des challenges à la hauteur de l’enjeu
Des objectifs multiples, donc, et de nombreux challenges à relever. Le premier : le poids des images satellite, qui induit un volume massif et exponentiel de données. Le programme, qui avait cumulé un pétaoctet de données en 20 ans, vient d’en créer plus de 7 pétaoctets en 2 ans ! (Une multiplication par un facteur de 70 !). Une masse considérable, à laquelle viennent s’ajouter plus de 13 téraoctets… chaque jour. Des données lourdes, qu’il faut héberger et sécuriser, tout en ouvrant leur l’accès de manière rapide et sécurisée.
2ème challenge : les gigantesques capacités de calcul nécessaires. Les données satellite « brutes » doivent en effet être agrégées et retraitées pour être
Le CNES a donc développé un POC (proof of concept) avec Activeeon et Microsoft. Le principe : déployer d’impressionnantes capacités de calcul en s’appuyant sur des services sur site et dans le cloud. Au sein de son centre informatique de pointe, le CNES dispose en effet de 8 000 processeurs pour l’ensemble de ses missions. Plusieurs centaines sont mobilisés sur le programme PEPS, mais les besoins sont parfois supérieurs, comme l’explique d’Erwann Poupart, membre du service Architecture des Systèmes Informatiques et Génie Logiciel : « le flux de données est tellement important… Nous sommes sur un cas d’usage spécifique, avec à la fois une volumétrie très importante et la nécessité de disposer d’une chaine de calcul sur la totalité des données. On bénéficie d’infrastructures en interne, mais on souhaitait pouvoir lancer les mêmes chaines de traitement sur le cloud, sous forme de cloud hybride, afin de pouvoir bénéficier de capacités supplémentaires. »
« C’est un cas d’usage très intéressant, qui suscite beaucoup d’espoir pour les usages, » renchérit Jean-Pierre Gleyzes. » La quantité de données que nous allons traiter va être croissante, au point qu’on n’aura jamais, en interne, les infrastructures suffisantes. »
Des données satellite dans le cloud
Les capacités de stockage et de traitement des données sont donc distribuées, réparties au mieux, entre le site du CNES et le cloud Microsoft Azure. La ProActive Parallel Suite, développée par la société française ActiveEon, intègre un ordonnanceur et ressource manager et alloue de façon transparente les ressources On-Prem et Cloud. De son côté, le cloud Azure donne accès à des capacités de stockage et de traitement illimitées, avec des algorithmes de calcul et un ensemble d’API essentiels. Une avancée considérable qui a déjà impacté la productivité des ingénieurs du CNES, à l’image d’Erwann Poupart : « Cela nous permet de faire tourner les mêmes chaines de traitement en local et dans le cloud. L’avantage, c’est que les résultats de ces calculs sont identiques, qu’ils aient été menés on premise ou sur Azure. Et c’est très important pour nous, car nous pouvons maintenant augmenter notre capacité de calcul et de traitement des données de façon substantielle. »
Une avancée dont se réjouit François Tournesac de la société ActiveEon, qui a instrumenté la mise en place de ce projet : « Ce qui est très intéressant ici, c’est surtout la diversité de l’offre et l’ouverture de Microsoft Azure. Grâce à ces capacités uniques, il est désormais possible pour le CNES de tester leurs chaines de traitement sur une variété de serveurs, ce qui va leur permettre d’optimiser au mieux leurs différents développements. Le potentiel est sans limite désormais ».
« Ce projet pilote s’est avéré très concluant, » ajoute Jean-Pierre Gleyzes. « Sur les aspects techniques d’une part – la possibilité d’héberger la totalité des données, la puissance de traitement et de calcul, la reproductibilité et la transparence des résultats – mais aussi sur l’aspect déploiement, où l’élasticité et la scalabilité du cloud nous ont convaincus. »
Prochaine étape : des applications offertes à tous
Ces deux points clés assurés (l’hébergement et le traitement des données), le CNES peut désormais se consacrer à la deuxième partie du projet, pour offrir à des utilisateurs tierces des possibilités de travailler sur ces données.
« Ces capacités de stockage et de calcul quasi-illimitées, avec une grande flexibilité, une grande sécurité et en toute transparence pour l’utilisateur… C’est assez magique. Et ça nous donne envie de continuer, » se réjouit Jean-Pierre Gleyzes. Place donc à la prochaine étape du projet : encourager les institutions et les organisations, publiques comme privées, à développer des applications qui utilisent ces données et en extraient de la valeur ajoutée.
Pour plus d’informations sur le projet, voici une vidéo réalisée par Activeon, le partenaire impliqué sur le projet :
