Rechenzentren: effiziente Leistungsüberwachung

Dapprox verwendet Methoden und Softwareanwendungen, um die Rechenleistung in Echtzeit im Approximationsverfahren zu analysieren. Das Ziel war, Genauigkeitsanforderungen, maximale Verzögerungen und vorhandene Ressourcen zu berücksichtigen, um potenzielle Unregelmässigkeiten voraussagen und Lösungen vorschlagen zu können. Dapprox sucht zuerst nach Merkmalen, die auf verschiedenen Servern über eine gewisse Zeit vorkommen; danach werden Stichproben der wichtigsten Daten so verarbeitet, dass die Genauigkeit der Resultate erhalten bleibt. Dapprox zeichnet sich dadurch aus, dass es aufgrund von gemeinsamen Strukturen, die sich im Lauf der Zeit verändern, dynamisch die optimale Datenmenge auswerten kann. Dapprox beinhaltete drei Arbeitspakete: Prognosefunktionen, Echtzeit-Analysefunktionen und Fehlermanagement.

Um die Servicequalität und Zuverlässigkeit von Systemen zu gewährleisten, überwachen Rechenzentren ihre virtuelle und echte Rechenleistung. Die anfallende Datenmenge ist so riesig, dass es fast unmöglich ist, sie in Echtzeit korrekt zu analysieren. Heute verfügbare Methoden sind in der Regel zu einfach und langsam, was zu Verzögerungen bei der Behebung von Performance-Unregelmässigkeiten führt und die Anwendererfahrung beeinträchtigt.

Das Ziel war, durch die Analyse von Performance-Daten die Rechenleistung in Cloud-Rechenzentren effizienter zu managen und dadurch die Anwendererfahrung zu verbessern. Statt die gesamte Datenmenge zu analysieren, wurden Approximationsverfahren (das sind auf Stichproben basierende Methoden und Anwendungen) entwickelt, um komplexe Muster von Datenspuren und sogenannten kritischen Zuständen vorauszusagen. Es wurden auch Anwendungen für die Echtzeit-Analyse und die Untersuchung von Unregelmässigkeiten entwickelt. Zusätzlich wurden Empfehlungen für den Umgang mit Unregelmässigkeiten in Cloud-Rechenzentren erarbeitet.

Das Projekt entwickelte praktische Lösungen, die das Potenzial der riesigen Datenmengen ausnützen, wie sie in der Überwachung der Leistung eines modernen Cloud-Rechenzentrums anfallen. Das Ziel ist, Datensätze auf Big-Data-Plattformen effizient und mit Näherungsverfahren zu bearbeiten und dadurch die Anwendererfahrung in der Cloud zu verbessern.

Dapprox soll Expertinnen und Experten in Rechenzentren, Forschenden und Anwenderinnen und Anwendern von Big-Data-Analytics und Cloud-Rechenplattformen dienlich sein. Da der Forschungsansatz auf der generischen Struktur von Big Data basiert, sollte er auf andere grosse Datensätze übertragbar sein (z.B. Daten von Geräten des Internets der Dinge) und an andere Systemszenarien angepasst werden (z.B. Energie-effiziente Rechenzentren) können.

Das Projekt unterstützte die selektive Verarbeitung von Big Data durch Nutzung räumlicher und zeitlicher Abhängigkeiten und das Reservieren von Rechenressourcen für kritische Daten. Ein weiterer Grund für ein solches selektives Anlernen von Daten ist die Menge an «schmutzigen Daten» in Big-Data-Datensätzen. Es wurden also Strategien zur selektiven Auswahl informativer und exakter Daten zum Trainieren robuster Analysemodelle entwickelt. Zudem bestätigten die Ergebnisse, dass die aus Big Data gewonnenen Einblicke auf Kosten des Datenschutzes gehen. Es liegt also ein wesentlicher Konflikt zwischen Datennutzen und Datenschutz vor. Zur Bewältigung dieser Herausforderungen wurde Folgendes umgesetzt:

• Leichtere und schnellere Verarbeitung grosser Datenmengen: Probleme konnten durch Strategien wie Low-Bit-Darstellung, intelligente Unterabtastung von Daten und hierarchische Modellierung speziell für Zeitreihenmodelle behoben werden.
• Vorhersehbarkeit der Big-Data-Verarbeitung: Es wurden stochastische Modelle zur Prognose der Latenz von Big-Data-Anwendungen entwickelt – von einfachen Datensortierungen bis hin zu komplexen Analysen. Anhand derartiger Modelle lässt sich dann ein kalkulierbarer Kompromiss zwischen Modellgenauigkeit und Modelltrainingszeit (sowie erforderlichen Ressourcen) eingehen.
• Datenschutz bei der Big-Data-Verarbeitung: Es wurden differenzierte private Algorithmen entwickelt, die Datenschutzverstösse durch Big Data und die Big-Data-Analyse verhindern. In Kombination mit Latenzmodellen lässt sich das Kriterienportfolio zur Entwicklung von Big-Data-Analysen in Bezug auf Genauigkeit, Latenz und Datenschutz weiter ausbauen.
• Verteilte Big-Data-Analysen: Es wurden verschiedene verteilte und dezentralisierte Big-Data-Analysen geprüft, die überall angewendet werden können, oder um genauer zu sein, genau dort, wo die Daten erfasst werden.

Das letzte Arbeitspaket zur gemeinsamen Nutzung von Rechenzentrumsspuren anhand von Modellen zum maschinellen Lernen erhielt von der nationalen Wissenschaftsstiftung der Niederlande und der Industrie Unterstützung zur Kommerzialisierung der Lösung. Es wurde ein tabellarischer Datensynthesizer entwickelt, um die erfassten geschützten Unternehmensdaten ohne Bedenken vor Datenschutzverstössen mit der Öffentlichkeit teilen zu können. Eine unerwartete Entwicklung, die dem Folgeprojekt, dem so genannten tabellarischen Datensynthesizer, finanziert von der Nationalen Wissenschaftsstiftung der Niederlande zur Kommerzialisierung der Idee, eine neue Richtung eröffnete.

Dapprox: Dependency-ware Approximate Analytics and Processing Platforms