Während Künstliche Intelligenz immer weiter in das tägliche Leben integriert wird, gewinnt die Frage nach der Vertrauenswürdigkeit dieser Technologien an Bedeutung. Das Graduiertenkolleg für vertrauenswürdige KI-Technologie „DataNinja“ will mit verschiedenen Projekten einen Beitrag leisten. Eines davon ist die Echtzeit-Konfiguration von Algorithmen mit mehrarmigen Banditen (EKAmBa) unter der Leitung der Professoren Dr. Kevin Tierney (Universität Bielefeld) und Dr. Axel-Cyrille Ngonga Ngomo (Universität Paderborn) sowie dem assoziierten Professor Dr. Eyke Hüllermeier (LMU München). Die Doktorand*innen Elias Schede (Bielefeld) und Jasmin Brandt (Paderborn) erforschen darin, wie KI schneller oder besser funktionieren kann – und so das Vertrauen in die Systeme gestärkt wird.
Wie hilft Ihre Arbeit dabei, KI vertrauenswürdiger zu machen?
Jasmin Brandt: Für die Konfiguration von Algorithmen entwickeln wir Methoden mit starken theoretischen Garantien und steigern so das Vertrauen. Wir können zeigen, dass sie auch im schlimmsten Fall gut funktionieren. Im Vergleich kann eine rein heuristisch gefundene Konfiguration, also durch ein Verfahren der Lösungssuche per Ausprobieren, die optimale Funktionalität nur auf den getesteten Datensätzen garantieren. Unser Ansatz bietet diese Sicherheit für jeden Problem-Datensatz.
Elias Schede: Wichtig ist auch die Robustheit der Algorithmen. Ich habe oft versucht, Algorithmen zu optimieren und verschiedene Parameterkonfigurationen zu testen. Manche dieser Konfigurationen sind recht unkonventionell. Es kann sein, dass Entwickler*innen nicht alle möglichen Szenarien bedacht haben. Wir decken diese Lücken auf und erhöhen so die Robustheit in Bezug auf die Eingabe. Das gilt besonders für Algorithmen, die auf verschiedene Problemklassen angewendet werden können. Auch kann ein recht allgemeiner Algorithmus auf eine spezielle Problemklasse zugeschnitten werden.
Wie genau verbessern Sie die Algorithmen?
Elias Schede: Ich arbeite an der Konfiguration von Algorithmen. Wir stellen uns vor, ein Rennauto bietet unzählige Einstellungsmöglichkeiten, um die Leistung auf einer Rennstrecke zu maximieren. Das Ziel ist, eine Konfiguration zu finden, die das Auto nicht nur auf einer, sondern mehreren Rennstrecken optimal fahren lässt. Dazu testet man verschiedene Einstellungen. Allerdings ist dieser Prozess kostspielig, es bedarf Arbeitskraft und Fahrtkosten entstehen. Wir entwickeln effiziente Lösungen, um diese Konfigurationsmöglichkeiten möglichst zielführend zu suchen. Wir wollen mit so wenig Versuchen wie möglich eine optimale Konfiguration für unser Rennauto finden, damit es auf allen Strecken hervorragend funktioniert.
Jasmin Brandt: Ich beschäftige mich mit mehrarmigen Banditen. Bei diesem sequentiellen Entscheidungsproblem stehen in jedem Zeitschritt verschiedene Optionen zur Auswahl. Direkt nach der Entscheidung für eine der Optionen kann ein Gewinn für die gewählte Option beobachtet werden. Das kann man sich wie eine Gewinnausschüttung bei der Betätigung eines Spielautomaten vorstellen. In dem Anwendungsgebiet der Algorithmenkonfiguration entsprechen die Konfigurationen den Optionen und etwa die Laufzeit des Algorithmus mit der ausgewählten Konfiguration dem Gewinn. Mein Fokus liegt auf dem Spezialfall pro Zeitschritt mehrere Konfigurationen auswählen zu können. Wir vergleichen verschiedene Algorithmuskonfigurationen mithilfe des Duelling-Verfahrens. Wir beobachten nun weder Lohn noch Laufzeit mehr, sondern nur noch welche der gewählten Konfigurationen am besten oder schnellsten ist. Um bei dem Rennauto-Bespiel zu bleiben: Wir lassen zwei Autos gegeneinander antreten und schauen, welches schneller das Ziel erreicht. Es handelt sich um dasselbe Rennauto, jedoch mit unterschiedlichen Konfigurationen. So können wir nach und nach die Konfigurationen anpassen und die beste finden.
Was sind Anwendungsszenarien für das, was Sie erforschen?
Elias Schede: Wir schauen uns Echtzeit-Einstellungen an. Um das zu erklären, müssen wir uns vom Rennauto-Vergleich entfernen. Ein Beispiel für ein Realtime-Setting wäre ein Lieferdienst. Zu Beginn eines jeden Tages erhält der Lieferdienst eine Liste von Kund*innen und muss entscheiden, wann welche beliefert werden sollen. Dafür stehen Algorithmen zur Verfügung, die dieses Problem täglich mit unterschiedlichen Kund*innenadressen lösen. Ziel ist es, jeden Tag schnellstmöglich die beste Route zu finden. Dafür versuche ich, die optimale Parameterkonfiguration für den Algorithmus auszuwählen. Nachdem ich Feedback erhalten habe, passe ich die Parameter an. Am nächsten Tag lässt sich mit verbesserten Konfigurationen erneut das Problem lösen.
Das sind ja ganz alltägliche Beispiele. Nutzen Lieferdienste die denn noch nicht?
Kevin Tierney: Bei vielen Firmen sind die Parameter ihrer Algorithmen verschlossen, das heißt, sie können nicht durch externe Software wie unseren Konfigurator geändert werden. Falls es doch „offene“ Parameter gibt, die geändert werden können, werden diese oft schnell manuell justiert. So wird Performance liegen gelassen, die man mit einer strukturierten Suche wie Jasmin und Elias sie betreiben, verbessern könnte.
Da ist also noch Luft nach oben.
Elias Schede: Es gibt Raum für Verbesserungen. Wir analysieren nämlich sowohl die Laufzeit – also ein Problem besonders schnell zu lösen – als auch die Qualität der Problemlösung. Wenn ich die Standardkonfiguration eines Algorithmus betrachte und sie mit der Konfiguration vergleiche, die ich finde, ist sie stets schneller oder besser.
Jasmin Brandt: Die Methoden können in allen Situationen angewendet werden, in denen ein Algorithmus mit bestimmten anpassbaren Parametern im Einsatz ist. Der Anwendungsbereich wächst durch die Automatisierung weiter.
Die Kooperation im DataNinja besteht seit zwei Jahren. Wie empfinden Sie die Zusammenarbeit über Standorte hinweg?
Elias Schede: Unsere Zusammenarbeit ergänzt sich super: Jasmin bringt ihre Expertise auf der theoretischen Seite ein, während ich versuche, empirisch zu belegen, dass unsere Methoden funktionieren.
Axel-Cyrille Ngonga Ngomo: Das Graduiertenkolleg ist sehr strukturiert und dadurch effektiv. Bei wöchentlichen Meetings präsentieren die Promovierenden ihre Fortschritte oder Gastdozierende geben mit Vorträgen neue Impulse. Weil das Kolleg als Netzwerk organisiert ist, dient es auch als Anlaufstelle für Unternehmen, die KI-Systeme einsetzen wollen, die sich flexibel an Anforderungen anpassen können. So bekommen die Promovierenden früh die Verbindung zur Praxis.
Jasmin Brandt: Und in jedem Dissertationsprojekt steht die Expertise von zwei Professor*innen von unterschiedlichen Hochschulen zur Verfügung, was sehr hilfreich ist. Dadurch haben sich neue interessante Konstellationen gebildet, auch für zukünftige Projekte. So kommt es, dass ich derzeit einen Gastaufenthalt an der ETH in Zürich verbringe. Ich habe dabei viel gelernt, Kontakte geknüpft und neue Perspektiven erhalten.
Graduiertenkolleg mit sieben Projekten
Im von der Universität Bielefeld koordinierten DataNinja -Graduiertenkolleg arbeiten neun Universitäten und Hochschulen aus NRW zusammen. Neben EKAmBa sind weitere Projekte:
- GAIA – Gaußprozesse für automatische und interpretierbare Anomalie-Erkennung (FernUniversität in Hagen und Technische Hochschule Ostwestfalen)
- ML4ProM – Maschinelle Lernverfahren zur Detektion von Drift für die Realisierung prädiktiver Präventionstechnologien im Prozess Mining (RWTH Aachen und Universität Bielefeld)
- NireHApS – Neuro-inspirierte ressourcen-effiziente Hardware-Architekturen für plastische SNNs (Hochschule Bielefeld und Universität Bielefeld)
- (RL)3 –Repräsentations- Reinforcement- und Regellernen (Ruhruniversität Bochum und Technische Hochschule Köln)
- RoSe – Robuste Individualisierung smarter Sensorik (Hochschule Bielefeld und Universität Bielefeld)
- X-FI – Interpretierbares maschinelles Lernen durch spieltheoretische Analyse von Einflussgrößen und Interaktionseffekten (TU Dortmund und Universität Paderborn)
DataNinja gehört zu den herausragenden Forschungsverbünden, in denen die Universität Bielefeld mit Kooperationspartnern an KI arbeitet. Aktuell bewirbt sich die Universität Bielefeld gemeinsam mit den Universitäten Bremen und Paderborn um einen Exzellenzcluster, der das Konzept der Ko-Konstruktion nutzt, um die Interaktion von Mensch und Maschine zu verbessern.
