Zero-Shot Learning

Zero-Shot Learning ist ein Ansatz im Bereich der Künstlichen Intelligenz, bei dem ein Modell Aufgaben lösen kann, für die es keine spezifischen Trainingsbeispiele gesehen hat. Stattdessen nutzt es sein im Pretraining erworbenes Wissen und generalisiert dieses mithilfe semantischer Beschreibungen oder Kontextinformationen auf völlig neue Klassen oder Aufgaben.

Wie funktioniert Zero-Shot Learning?

Zero-Shot Learning basiert auf dem Prinzip der Generalisierung und der Nutzung zusätzlicher Informationen:

• Semantische Beschreibungen: Klassen oder Aufgaben werden durch Attribute oder Textbeschreibungen definiert, die das Modell mit bekannten Konzepten verknüpft.
• Pretraining auf großen Datensätzen: Modelle wie GPT oder BERT erwerben breites Sprach- und Weltwissen, das für neue Aufgaben genutzt werden kann.
• Natural Language Prompts: Moderne Sprachmodelle nutzen Eingabeanweisungen (Prompts), um Aufgaben ohne vorheriges TrainingTraining Training im Projektkontext bezeichnet strukturierte Schulungsmaßnahmen zur Vorbereitung von Mitarbeitenden auf neue Systeme, Prozesse oder T... Mehr zu lösen.

Praxisbeispiele:

• Textklassifikation: Ein Modell kategorisiert Texte in neue Themenbereiche, die nicht im Training enthalten waren.
• Maschinelle Übersetzung: Übersetzung zwischen Sprachen, die das Modell nie direkt gelernt hat.
• Bildbeschreibung: Generierung von Texten zu Bildern ohne speziell trainierte Datensätze.
• Sprachassistenten: Beantwortung von Fragen zu Themen, die nicht in den Trainingsdaten vorkamen.
• Compliance und Recht: Analyse neuer Gesetzestexte anhand allgemeiner Sprachkompetenz.

Vorteile:

• Datenunabhängigkeit: Keine Notwendigkeit für spezielle Trainingsdaten.
• Flexibilität: Modelle können sofort auf neue Aufgaben reagieren.
• Skalierbarkeit: Ideal für Umgebungen mit ständig neuen Anforderungen.

Herausforderungen:

• Genauigkeit: Ergebnisse können unzuverlässig sein, wenn das Modell die Aufgabe nicht gut abstrahieren kann.
• Abhängigkeit von Beschreibungen: Qualität hängt stark von den Attributen oder Prompts ab.
• Bias und Halluzinationen: Modelle können plausible, aber falsche Ergebnisse liefern.

Verwandte Begriffe:

Few-Shot LearningFew-Shot Learning Few-Shot Learning ist ein Ansatz im Bereich der Künstlichen Intelligenz, bei dem ein Modell in der Lage ist, neue Aufgaben mit nur ... Mehr, One-Shot LearningOne-Shot Learning One-Shot Learning ist eine spezielle Form des maschinellen Lernens, bei der ein Modell eine neue Aufgabe anhand nur eines einzigen B... Mehr, Transfer LearningTransfer Learning Transfer Learning ist eine Methode des Maschinellen Lernens, bei der ein bereits trainiertes Modell für eine neue, aber ähnliche A... Mehr, Pretraining, Fine-Tuning, Prompt EngineeringPrompt Engineering Prompt Engineering bezeichnet die Technik, mit der Eingaben (Prompts) für große Sprachmodelle (LLMs) wie GPT so gestaltet werden,... Mehr, Large Language Models, Representation Learning, Natural Language Processing, Künstliche Intelligenz