Neue B2B-Commerce Studie
Jetzt downloadenIntuitive und flexible APIs für Big Data-Klimaforschung
140x Beschleunigung durch optimierte Algorithmen zur Datenverarbeitung
Stellen Sie sich vor, Sie verfügen über das technische Verständnis, die finanziellen Ressourcen und die richtigen Mitarbeiter in Ihrem Unternehmen, aber die zeitnahe Cloud-basierte Verarbeitung und einwandfreie Analyse von Satellitendaten stellt Ihr Team vor Herausforderungen, die möglicherweise auf die schiere Menge oder die Heterogenität Ihrer Daten oder auf die fehlende Parallelisierung innerhalb Ihrer aktuellen Python-basierten Verarbeitungspipelines zurückzuführen sind.
In enger Zusammenarbeit mit Forschern und EO-Datenspezialisten weltweit analysieren und identifizieren die Data-Engineering-Experten von Cloudflight mögliche Engpässe in Datenverarbeitungspipelines, optimieren Data-Science-Workflows und entwickeln intuitive APIs, die die Umwandlung von reinen Daten in umfassende Informationen ermöglichen.
Die Herausforderung
Bewältigung der Herausforderungen hinsichtlich Volumen, Variabilität und Wahrhaftigkeit
Jahrzehntelang schrieben Atmosphärenforscher Tausende von Zeilen Fortran-Code, der immer wieder variierte und komplex war, mit dem Ziel, die bestmöglichen Ergebnisse zu erzielen, ohne jemals die Laufzeit zu berücksichtigen. Würden wir den ursprünglichen Algorithmus anwenden, würden dieselben Daten für eine 100-minütige Satellitenumlaufbahn zu monatelangem Warten auf Ergebnisse führen - an eine produktive Nutzung ist also nicht zu denken.
Satelliten erzeugen ständig Daten, was zu großen Datenmengen führt, die gespeichert, abgerufen und verarbeitet werden müssen. Dies kann von wenigen GB bis zu mehreren TB pro Tag reichen (vollständige Konstellationen).
Aber auch nach der Verarbeitung der Daten ist der Prozess noch nicht abgeschlossen. Die Ergebnisse müssen wissenschaftlich validiert werden. Dieser Schritt erfordert manuelle Schritte, die nur mit dem Fachwissen eines Wissenschaftlers durchgeführt werden können.
Die Lösung
Maßgeschneiderte Cloud-Lösungen für optimierte Verarbeitung von EO-Daten
Wir konzentrieren uns auf unsere Stärken in der Datentechnik und -entwicklung, statt auf starre Lösungen zu setzen. Wir statten Forscher und Experten mit maßgeschneiderten cloudbasierten Lösungen für die Verarbeitung großer Erdbeobachtungsdaten und entsprechenden Pipelines aus.
Durch die Optimierung von Algorithmen und die Förderung von Parallelisierung und Automatisierung stärken wir unsere Projektpartner effektiv. Mit unserer Expertise und unserem Einsatz werden extern entwickelte komplexe Algorithmen als Teil umfassender Verarbeitungsketten gestaltet, die z.B. die Erkennung von künstlichen Aerosolen und atmosphärischen Veränderungen von Bodenstationen oder Satelliten aus ermöglichen.
Forscher und andere Nutzergruppen fühlen sich wohl, wenn sie in webbasierten interaktiven Computerplattformen wie der Jupyter Hub-Umgebung navigieren und sogar kleinere Datenverarbeitungen entweder in ihren eigenen Jupyter Lab-Instanzen oder durch Senden von Verarbeitungen an unsere maßgeschneiderte Nebari-Datenplattform durchführen.
Wir sind stolz darauf, dass die Entwicklung intuitiver und flexibler APIs dazu geführt hat, dass Cloudflight Mitwirkende an vorderster Front in diesem Forschungsbereich unterstützt.
Derzeitige Projekte
Wir haben bisher an >20 Projekten mit der ESA gearbeitet
Im Auftrag der ESA arbeiten wir derzeit an der Demonstration eines integrierten Ansatzes für die Validierung und Nutzung von Atmosphärenmissionen (DIVA). Darüber hinaus entwickeln wir im Auftrag von EUMETSAT den Hilfsdatensatz für die Reflexion der Landoberfläche aus den optischen Instrumenten von Sentinel-3 zur Unterstützung operationeller atmosphärischer Prozessoren (S3-LSR).
Darüber hinaus sind wir an dem Projekt Sentinel-4 Level 2 Operational Processor Component Development (Sentinel-4 L2OP) beteiligt, das wir im Auftrag von ESA und EUMETSAT durchführen. Wir leisten auch einen Beitrag zum wissenschaftlichen Rahmen für die Entwicklung von Aerosolprodukten (SCAERP) für EUMETSAT. Schließlich arbeiten wir an der Entwicklung fortschrittlicher Wolken-, Aerosol- und Wasserdampfprodukte (CAWA) für die ESA.
Unser Partner
Die European Space Agency (ESA) ist das Tor Europas zum Weltraum. Ihre Aufgabe ist es, die Entwicklung der europäischen Raumfahrtkapazitäten zu gestalten und sicherzustellen, dass Investitionen in die Raumfahrt den Bürgern Europas und der Welt weiterhin zugute kommen.
