Erstellt am 19. Februar 2016, 10:59

Dem Workflow auf der Spur. Projekt der FH St. Pölten und JKU Linz macht Studien reproduzierbar

 |  NOEN, FH St. Pölten / Foto Kraus

Die Wiederholbarkeit von Studienergebnissen gilt als Fundament der Wissenschaft. Denn repräsentative Studien sollten bei gleicher Durchführung natürlich immer die gleichen Ergebnisse liefern. Doch was, wenn die einzelnen Forschungsschritte nicht mehr nachvollziehbar sind?

Im Rahmen des Forschungsprojekts VisOnFire arbeitet das Institut für Creative\Media/Technologies der FH St. Pölten gemeinsam mit dem Institut für Computergrafik der Johannes Kepler Universität Linz derzeit an einer Lösung dieses Problems: Mithilfe eines forensisch visuellen Werkzeugs soll es Analystinnen und Analysten künftig möglich sein, eine detaillierte Beschreibung der einzelnen Arbeitsschritte zu bekommen, die zu veröffentlichten Studienresultaten geführt haben. 

Studien sind aus der Wissenschaft nicht mehr wegzudenken und liefern wertvolle Einblicke in die unterschiedlichen Disziplinen. Doch Studien erzeugen auch eine enorme Menge komplexer Daten, die es zu analysieren gilt. Hier kommt es häufig zu großen Herausforderungen, denn oftmals ist es im Nachhinein für Außenstehende fast unmöglich nachzuvollziehen, wie die einzelnen Prozessschritte abgelaufen sind und welche Parameter an welcher Stelle möglicherweise geändert wurden.

Fehlende Transparenz bei Studienergebnissen

Das ist vor allem dann ein Problem, wenn es um die Reproduktion von Studienergebnissen geht. Eine aktuelle Studie im Journal Nature zeigt, dass es in über 90 Prozent der Fälle nicht möglich war, die Ergebnisse von 53 Krebsstudien zu reproduzieren.

Die FH St. Pölten arbeitet gemeinsam mit der Johannes Kepler Universität Linz im Rahmen des dreijährigen Projekts „VisOnFire“ an neuartigen Visualisierungswerkzeugen, die unter anderem Studienergebnisse leichter nachvollziehbar machen sollen.

Besseres Verständnis des Workflows

„Das primäre Ziel des Projekts ‚VisOnFire‘ liegt in der Realisierung von Provenanz auf allen Ebenen, d.h. dass die Herkunft der Daten zu jeder Zeit klar und sichtbar ist. Das ermöglicht den Analystinnen und Analysten ein besseres Verständnis des Workflows und somit auch einen Einblick darin, wie sich Änderungen im Workflow auf die Resultate auswirken.

Das ist wesentlich, wenn es darum geht, Studienergebnisse zu reproduzieren“, erklärt Marc Streit, Projektleiter und Assistenzprofessor am Institut für Computergrafik der Johannes Kepler Universität Linz. Möglich machen soll das ein forensisch visuelles Werkzeug für die Analyse von Workflow Provenanz-Graphen. Dafür werden derzeit neuartige visuelle Analysemethoden für skalierbare Workflow-Visualisierungen, Möglichkeiten zum Vergleich komplexer Datenstrukturen sowie für Metriken zum Quantifizieren von Änderungen entwickelt.

Faktor Zeit

Denn der Schlüssel zur Reproduzierbarkeit von Daten liegt in der Sammlung von Informationen über die verarbeiteten Daten, die angewandten Werkzeuge und Algorithmen sowie über die Parameter über die Zeit. „Bisher war es sehr aufwändig herauszufinden, welche konkreten Änderungen zu einer Variation im Resultat geführt haben“, so Wolfgang Aigner, wissenschaftlicher Leiter des Instituts für Creative\Media/Technologies an der FH St. Pölten.

„Groß angelegte Workflow-Analysen dauern oft Tage oder sogar Wochen. Falsche Konfigurationen oder fehlerhafte Skripte führen dazu, dass ganze Analysen sogar wiederholt werden müssen – das ist sehr problematisch und kostet viel Zeit und Geld. Ziel von ‚VisOnFire‘ ist es, die Nachvollziehbarkeit möglichst einfach und zeitsparend zu gestalten.“

Projekt „VisOnFire“

Das Projekt VisOnFire (Visual Analysis of Large and Heterogeneous Scientific Workflows for Analytical Provenance) läuft von Jänner 2016 bis Dezember 2018 und wird vom Fonds zur Förderung der wissenschaftlichen Forschung (FWF; Projekt P 27975-NBL) abgewickelt und vom Land Oberösterreich sowie der Österreichischen Nationalstiftung finanziert. Das Projektkonsortium besteht aus der Johannes Kepler Universität Linz und der FH St. Pölten sowie internationalen Kooperationspartnern der Harvard University und der Universität Rostock.