Was ist Overfitting?

Informieren Sie sich über die Ursachen und Auswirkungen von overfitting beim maschinellen Lernen und erfahren Sie, wie Sie damit umgehen, um Modelle zu erstellen, die sich gut auf neue Daten übertragen lassen.

Overfitting ist eine häufige Herausforderung beim maschinellen Lernen. Dabei lernt ein Modell die Trainingsdaten zu gut, einschließlich des Rauschens und der Ausreißer, wodurch es bei unbekannten Daten schlechte Ergebnisse erzielt. Die Behebung von overfitting ist entscheidend, da das Hauptziel eines Modells darin besteht, genaue Vorhersagen für neue, unbekannte Daten zu treffen und nicht nur die Trainingsdaten zu replizieren.

Overfitting erklärt

Beim maschinellen Lernen besteht das ultimative Ziel darin, Modelle zu erstellen, die sich gut auf neue Daten übertragen lassen. overfitting tritt auf, wenn sich ein Modell zu sehr an die Trainingsdaten anpasst und sogar deren zufällige Schwankungen erfasst. Stellen Sie sich vor, Sie bringen einem Kind bei, Vögel zu erkennen, aber anstatt ihm allgemeine Vogelmerkmale beizubringen, zeigen Sie ihm nur Tauben. Wenn Ihr Kind einen Adler sieht, könnte es trotzdem denken, es sei eine Taube, weil es nichts anderes kennt.

Die Ursachen für Overfitting können vielfältig sein:

• Komplexe Modelle. Die Verwendung eines zu komplexen Modells für eine einfache Aufgabe kann zu overfitting führen. Beispielsweise die Verwendung einer polynomischen Regression hohen Grades für Daten, die von Natur aus linear sind.
• Unzureichende Daten. Wenn nicht genügend Daten vorhanden sind, findet das Modell möglicherweise Muster, die nicht wirklich existieren.
• Verrauschte Daten. Wenn die Trainingsdaten Fehler oder zufällige Schwankungen enthalten, behandelt ein überangepasstes Modell diese als Muster.

Die Auswirkungen von overfitting sind erheblich. Ein überangepasstes Modell weist zwar bei seinen Trainingsdaten eine hohe Genauigkeit auf, bei neuen, unbekannten Daten weist es jedoch eine schlechte Leistung auf, da es nicht ausreichend verallgemeinert ist.

So erkennen Sie overfitting

Das Erkennen von overfitting ist ein entscheidender Schritt im maschinellen Lernprozess. So können Sie es erkennen:

• Validierungssatz. Teilen Sie Ihre Daten in Trainings- und Validierungssätze auf. Wenn Ihr Modell im Trainingssatz gut abschneidet, im Validierungssatz jedoch schlecht, handelt es sich wahrscheinlich um overfitting.
• Lernkurven. Stellen Sie die Leistung des Modells im Zeitverlauf sowohl für die Trainings- als auch die Validierungssätze dar. Wenn die beiden Kurven auseinander zu gehen beginnen, ist dies ein Zeichen für overfitting.
• Kreuzvalidierung. Verwenden Sie eine Kreuzvalidierung, bei der die Trainingsdaten mehrfach aufgeteilt werden und das Modell bei jeder Aufteilung ausgewertet wird.

In folgenden Fällen ist die Prüfung auf overfitting besonders wichtig:

• Sie verwenden ein komplexes Modell.
• Sie verfügen über eine geringe Datenmenge.
• Wie bei medizinischen Diagnosen steht viel auf dem Spiel.

So verhindern Sie overfitting

Das Verhindern von overfitting ist besser als das Heilen. Hier sind einige Schritte, die Sie unternehmen können:

• Einfachere Modelle. Beginnen Sie mit einem einfacheren Modell und fügen Sie nur bei Bedarf Komplexität hinzu.
• Mehr Daten. Wenn möglich, sammeln Sie mehr Daten. Je mehr Daten ein Modell trainiert, desto besser kann es verallgemeinern.
• Regularisierung. Techniken wie L1- und L2-Regularisierung können helfen, overfitting zu verhindern, indem sie bestimmte Modellparameter bestrafen, wenn sie wahrscheinlich zu overfitting führen.
• Dropout. In neuronalen Netzwerken ist Dropout eine Technik, bei der während des Trainings zufällig ausgewählte Neuronen „aussortiert“ werden, wodurch das Netzwerk gezwungen wird, robustere Funktionen zu erlernen.

Lesen Sie unser vollständiges Tutorial zum Vermeiden von overfitting beim maschinellen Lernen .

overfitting vs. Unteranpassung

Während overfitting eine übermäßige Anpassung eines Modells an die Trainingsdaten ist, ist Unteranpassung das Gegenteil. Ein unterangepasstes Modell kann nicht einmal die grundlegenden Muster der Trainingsdaten erfassen.

• overfitting: Hohe Genauigkeit bei Trainingsdaten, geringe Genauigkeit bei neuen Daten. Stellen Sie sich ein GPS vor, das in Ihrer Heimatstadt perfekt funktioniert, aber überall sonst verloren geht.
• Unteranpassung: Geringe Genauigkeit sowohl beim Training als auch bei neuen Daten. Es ist wie ein GPS, das nicht einmal in Ihrer Heimatstadt navigieren kann.

Sowohl Über- als auch Unteranpassung führen zu schlechten Vorhersagen bei neuen Daten, allerdings aus unterschiedlichen Gründen. Während overfitting häufig auf ein zu komplexes Modell oder verrauschte Daten zurückzuführen ist, kann Unteranpassung das Ergebnis eines zu einfachen Modells oder zu weniger Merkmalen sein.

Overfitting: Der andauernde Kampf für ML-Ingenieure

Als Ingenieure für maschinelles Lernen (ML) sind wir ständig bestrebt, möglichst genaue Modelle zu erstellen. overfitting ist jedoch eines der größten Risiken, das mit dem Streben nach hoher Genauigkeit einhergeht.

Viele Unternehmen tappen in die Falle der overfitting. Sie sehen die hohe Trainingsgenauigkeit und gehen davon aus, dass sie ein hervorragendes Modell entwickelt haben. Doch wenn sie das Modell in der realen Welt einsetzen, bricht es leider völlig zusammen. Es ist, als ob Sie alle Ihre Probeprüfungen mit Bravour bestehen, dann aber in der eigentlichen Prüfung durchfallen.

Als ML-Ingenieure müssen wir der Versuchung widerstehen, nur mit Trainingsdaten perfekte Genauigkeit zu erreichen. Sie können einfach keine 100-prozentige Genauigkeit mit Trainingsdaten erreichen und erwarten, dass sich dies auf neue Daten übertragen lässt. Wir müssen Techniken wie Kreuzvalidierung, Regularisierung, Datenerweiterung und Ensemblebildung verwenden, um sicherzustellen, dass unsere Modelle gut generalisierbar sind color theory.

Beim maschinellen Lernen beginnt man oft mit einem unterangepassten Modell und verbessert die Genauigkeit langsam durch Iteration. Aber irgendwann kommt der Punkt, an dem weitere Optimierungen zu einer overfittings führen. Wir müssen den schmalen Grat zwischen Unter- und overfittings beschreiten, um ein Goldlöckchen-Modell zu finden, das in allen Situationen gut funktioniert.

Möchten Sie  mehr über KI  und maschinelles Lernen erfahren? Schauen Sie sich die folgenden Ressourcen an:

• Einführung in den ChatGPT-Kurs
• Kurs zu Konzepten der generativen KI
• 7 KI-Projekte für alle Ebenen
• Was ist KI-Kompetenz?
• Durchsuchen Sie unsere Kurse zum maschinellen Lernen

Häufig gestellte Fragen