Maschinelles Lernen (ML) kann allgemein als das Studium und Design von Algorithmen verstanden werden, die Modelle aus Daten erstellen, um komplexe Probleme zu lösen. Derzeit gibt es drei ungelöste Probleme im ML:

Erstens stößt man häufig auf Herausforderungen, für die rein datengetriebene Modelle nicht ausreichen und datenunabhängige Informationen auf irgendeine Weise in den Lernprozess eingebracht werden müssen. Dies geschieht zum Beispiel, wenn nicht genügend Daten zur Verfügung stehen, um ein ausreichend generalisiertes Modell zu trainieren, oder wenn das Modell eine problemspezifische Randbedingung erfüllen muss. Wie man solches Vorwissen prinzipiell in die ML-Pipeline einbindet, ist ein offenes Problem der aktuellen ML-Forschung.

Zweitens hängt die Leistung von ML-Modellen stark davon ab, welche Repräsentationen der Daten verwendet werden, um diese zu erstellen. ML-Modelle sollten in der Lage sein, sinnvolle und kausale Faktoren von Variationen (Repräsentationen) in Daten aufzudecken, aus denen man die Mechanismen der Datenerzeugung verstehen und begründen kann. Wie man Modelle dazu bringt, automatisch sinnvolle Repräsentationen zu erlernen, ist eine weitere grundlegende Frage im ML.

Drittens sind viele moderne ML-Modelle und -Algorithmen selbst komplexe Systeme, deren theoretische Analyse grundlegend für ihre Interpretierbarkeit und Erklärbarkeit ist. Die Bereitstellung von Techniken zur formalen Charakterisierung von Training und Generalisierung in diesen Systemen ist ein drittes langfristiges Ziel im ML.

Die Forschung zu hybridem ML, die sich in Informed ML, Representation Learning und Theoretisches ML unterteilen lässt, konzentriert sich jeweils auf die Untersuchung eines dieser ML-Probleme.

Informed ML

Die Forschung im Bereich Informed ML umfasst eine Vielzahl komplexer Probleme in Bereichen, die von der Verarbeitung natürlicher Sprache über Computer Vision bis zur Astrophysik reichen.

• Eine Taxonomie und Übersicht über Informed ML-Ansätze::
  Wir haben kürzlich eine Definition für Informed ML vorgeschlagen: Lernen aus hybriden Quellen, die aus Daten und zusätzlichem Vorwissen bestehen. Unser Beitrag führt eine Taxonomie ein, die Informed ML-Ansätze nach der Quelle des Wissens, seiner Repräsentation und seiner Integration in die ML-Pipeline klassifiziert. Zur_Veröffentlichung_
• Verwendung von Generative Adversarial Networks zur Schätzung von Antwortzeiten:
  Ein Beispiel für Informed ML ist unser kürzlich entwickeltes tiefes generatives Modell für Antwortzeiten, das sich für große Datensätze eignet, die typisch für moderne Serviceanbieter sind. Unser Ansatz basiert auf der Queueing Theory und verwendet Wasserstein Generative Adversarial Networks, um Antwortzeitverteilungen zu erlernen, die auf einem Continuous Arrival Process basieren. Diese Arbeit stellt eine erste Brücke zwischen Queueing-Systemen und tiefer generativer Modellierung dar. Zur_Veröffentlichung_
• Modellierung von Umweltbelastungen in der Landwirtschaft mit neuronalen Netzen:
  Ein weiteres Informed-ML-Highlight ist unsere Methode zur Kombination von Expertenwissen mit datengesteuerten Techniken zur Modellierung in der Landwirtschaft, die den ersten Platz bei der Syngenta Crop Challenge/Data Science Competition gewonnen hat.

• Algorithmen zur Informationsextraktion und zum Aufbau einer Wissensdatenbank aus strukturierten Dokumenten mittels probabilistischer Soft Logic und neuronaler Netze
• Verständnis von Szenen anhand von einfachen Formen, Objekterkennung und Einschätzung der Haltung von Personen
• Lernen mit beschränktem Wissen aus Simulationen von Astroteilchen
• Schlussfolgern von Wissensgraphen auf Basis neuronaler Netze
• Algorithmen zum Erraten von Passwörtern mithilfe von Variational Autoencoders
• Lernen von Ähnlichkeitsfunktionen für strukturierte Daten
• Vorhersage des Belastungs- und Dehnungsverhaltens von nicht gewebten Fasermaterialien

Unsere Forschung konzentriert sich hauptsächlich auf verschiedene Aspekte des Representation Learning für die Verarbeitung natürlicher Sprache.

• Hat eine Künstliche Intelligenz Humor?
  Die Forschung ist noch nicht abgeschlossen, aber Künstliche Intelligenz (KI) wird immer besser darin, Witze zu verstehen. Eine Schlüsselrolle spielen aktuelle Ergebnisse aus dem Forschungsbereich des hybriden Maschinellen Lernens zur Vereinigung von Vektoreinbettungen und symbolischem Wissen. Im Exponat „KI und Humor“ erzählen wir einen Witz. Anhand von interaktiven Grafiken erklären wir, was uns Menschen zum Lachen bringt und wie Humor aus der Perspektive der KI-Forschung aussieht. Zum Exponat „KI und Humor“
• Einbringen von Baumstrukturen in Vektordarstellungen:
  Wir haben erfolgreich baumstrukturierte Kategorieinformationen in Vektoreinbettungen eingebracht, indem wir letztere zu N-Kugeln in einem höherdimensionalen Raum erweitert haben, so dass (i) Vektoreinbettungen gut erhalten bleiben und (ii) symbolische Baumstrukturen ohne Fehler durch Einschlussrelationen zwischen Kugeln kodiert werden. Dieser Ansatz vereint gute Eigenschaften sowohl von symbolischen als auch von Deep-Learning-Techniken. Zur_Veröffentlichung_
• Lernen von Repräsentationen für dynamische Sprachmodelle:
  Für die Textverarbeitung bauen wir auf Modelle neuronaler Netze, um zeitliche Informationen einzubeziehen und zu modellieren, wie sich Rezensionsdaten mit der Zeit verändern. Konkret nutzen wir die dynamischen Repräsentationen von rekurrenten Point-Process-Modellen, die den zeitlichen Verlauf von Geschäfts- oder Dienstleistungsbewertungen kodieren, um sofort aktuelle Sprachmodelle mit verbesserten Vorhersagefähigkeiten zu erzeugen. Zur_Veröffentlichung_

• Einbettung von Kugeln für Wissensrepräsentation und Schlussfolgerung
• Repräsentationslernen für dynamische Sprachmodelle
• Tiefe generative Modelle für semantische Strukturen zum Verständnis natürlicher Sprache
• Strukturierte Repräsentationen für Sprachmodellierung und kontrollierte Textgenerierung
• Auf neuronalen Netzen basierte Variational Inference für stochastische Prozesse mit kontinuierlichem Zeitverlauf

Wir untersuchen verschiedene Aspekte der Generalisierung und des Trainings von tiefen und breiten neuronalen Netzen.

• Erwärmung von Datenräumen zum Verständnis von Entscheidungsproblemen:

  Wir haben kürzlich die Entscheidungsgrenzen von Klassifikatoren über Brownsche Bewegungsprozesse im umgebenden Datenraum und damit verbundene probabilistische Techniken untersucht. Intuitiv entsprechen unsere Ideen dem Platzieren einer Wärmequelle an der Entscheidungsgrenze und dem Beobachten, wie effektiv sich die Stichprobenpunkte erwärmen. Im Gegensatz zu bekannten Methoden bietet unsere Arbeit eine nicht-äquivalente Technik, um die Geometrie der Entscheidungsgrenze zu betrachten. Insbesondere führt sie zu Verfeinerungen und Verbesserungen des bisherigen State of the Art bezüglich der Analyse von Entscheidungsgrenzen sowie zu neuen Krümmungsschätzungen und einer detaillierteren Schätzung der Grenzdichte. Zur_Veröffentlichung_

• Identifizierung von Strukturen in großen Graphen:
  Wir haben Stichprobentechniken aus der mathematischen Kombinatorik an das Problem der probabilistischen Suche nach Unterbäumen (Subtree-Mining) in beliebigen Datenbanken mit vielen kleinen bis mittelgroßen Graphen oder einem einzelnen großen Graphen angepasst. Unsere Methode zählt oder bestimmt näherungsweise Isomorphien von Unterbäumen für beliebige Transaktionsgraphen in sublinearer Zeit mit einseitigem Fehler. Dadurch konnten wir in Graphen mit Millionen von Knoten und Kanten approximative Zählungen für Muster erhalten, die mehr als fünfmal so groß sind wie der aktuelle Stand der Technik. Zur_Veröffentlichung_

• Auswirkungen des stabilen Rangs und der spektralen Norm auf die Geometrie und Aussagekraft von tiefen neuronalen Netzen
• Dynamik außerhalb des Gleichgewichts beim Training in breiten neuronalen Netzen
• Trainingsdynamik von tiefen generativen Modellen anhand von Gradientenflüssen im Wahrscheinlichkeitsraum
• Maximale geschlossene Menge und Halbraumseparationen in endlichen abgeschlossenen Systemen