Klassische Machine Learning Algorithmen setzen bekannte Werte von Hyperparametern, wie beispielsweise Lernrate, Regularisierung und Kernelskalierung, voraus. In der Praxis sind diese Parameter im Vorhinein selten bekannt. Um sie zu ermitteln, werden vielfach aufwändige, zeitintensive Verfahren eingesetzt.

Am DAI-Labor modellieren wir das Problem der Bestimmung von Hyperparametern als online/stochastisches Lernproblem. Wir entwickeln Algorithmen, die diese effizient lernen, insbesondere mit Augenmerk auf folgende Anwendungen:

1. Optimierung ohne Lernrate, wie überlich für (Sub-)Gradienten Methoden
2. Zero Order Optimierung, bei der reelwertige Funktionen als Black Box betrachtet werden
3. Zeitreihenvorhersage ohne Hyperparameter, da in vielen Anwendungsfällen Echtzeitanforderungen gelten