Einführung in die generative KI

Einführung in AI

Um zu verstehen, warum die generative KI eine so bahnbrechende Technologie ist, müssen wir sie in den Kontext der breiteren KI-Landschaft stellen und erklären, auf welche Aufgaben sich klassische (nicht generative) KI-Systeme konzentriert haben. Beginnen wir mit einigen grundlegenden Begriffen und Schlagwörtern.

Im Wesentlichen ist KI jede Maschine, die Aufgaben ausführt, die normalerweise menschliche Intelligenz erfordern würden. Fast alle KI-Entwicklungen nutzen derzeit das maschinelle Lernen: Algorithmen, die es Maschinen ermöglichen, sich selbst auf vorhandenen Daten zu trainieren und dann das Gelernte zu nutzen, um Vorhersagen über neue Daten zu treffen. Einige Beispiele für Algorithmen des maschinellen Lernens sind neuronale Netze, Entscheidungsbäume und Support-Vector-Maschinen. Ein spezieller Teilbereich des maschinellen Lernens ist das Deep Learning, wobei sich das "Deep" auf solche Algorithmen bezieht, die mehrere "Schichten" verwenden, d. h. im Wesentlichen die Komplexität des Modells erhöhen, damit es besser "lernen" kann.

Algorithmen für maschinelles Lernen haben sich in der Vergangenheit auf zwei Hauptaufgaben konzentriert:

1. Klassifizierung - Gruppierung von Objekten in vorgegebene Kategorien. Z. B. die Segmentierung Ihres Kundenstamms je nach Kaufverhalten oder die Klassifizierung von E-Mails als Spam oder nicht Spam.
2. Vorhersage - Vorhersage eines zukünftigen Wertes auf der Grundlage historischer Daten. Z. B. die Ermittlung des wahrscheinlichsten nächsten Kaufs eines Kunden oder die Vorhersage eines Aktienwerts.

Wichtig ist, dass es bei beiden Aufgaben um die Vorhersage eines "begrenzten" Wertes geht. Bei Klassifizierungsalgorithmen werden die gewünschten Kategorien im Voraus festgelegt (z. B. "Spam" und "kein Spam"), und bei Vorhersagealgorithmen stammt der vorherzusagende Wert oder Gegenstand ebenfalls aus einer festen Optionsmenge (z. B. ist "Aktienkurs" immer ein €-Betrag, während "nächster Kauf" immer ein verfügbares Produkt ist).

Klassische Algorithmen des maschinellen Lernens, die sich auf Klassifizierung und Vorhersage konzentrieren, werden seit über einem Jahrzehnt in vielen Branchen eingesetzt.

Was ist der Unterschied zur generativen KI?

Generative KI ist jedes KI-Modell, das neue Inhalte generieren kann, d. h. Inhalte, die es vorher noch nie gegeben hat. Es gibt bereits generative KI-Systeme, die sich auf Text, Bilder, Audio, Video, Code und mehr konzentrieren. Diese Modelle sind eine spezielle Art von Deep-Learning-Modellen.

Der Hauptunterschied zu klassischen KI-Systemen besteht darin, dass diese generativen KI-Algorithmen extrem "grenzenlos" sind - d. h. sie können Inhalte generieren, die durch keinerlei Grenzen eingeschränkt sind (z. B. generiert ChatGPT Antworten auf Fragen, aber diese Antworten sind oft Texte, die noch nie zuvor gesehen wurden - und die Antworten stammen sicherlich nicht aus einer Reihe verfügbarer Antworten).

Warum gerade jetzt?

Warum ist die generative KI erst 2022 so richtig in Schwung gekommen, obwohl es diese klassischen KI-Modelle schon seit über einem Jahrzehnt gibt? Es gibt drei Hauptgründe für die jüngsten Fortschritte bei der generativen KI:

1. Neue Modelle für maschinelles Lernen
   Die Modelle für maschinelles Lernen, die für die generative KI verwendet werden, gibt es erst seit 2017 - als Google ein Papier mit dem Titel "attention is all you need" (Aufmerksamkeit ist alles, was man braucht) veröffentlichte, das die Entwicklung des "Transformer"-Modells zeigte. Dieses Modell wurde dann zur Entwicklung der ersten Large Language Models (LLMs) verwendet - mehr Informationen dazu im nächsten Abschnitt.
2. Kapitalinvestitionen
   Microsoft investierte 2019 eine Milliarde Dollar in OpenAI (den Erfinder von ChatGPT und Dall-E) und legte 2023 nach dem Start von ChatGPT eine weitere Milliarde Dollar drauf. Neben der Finanzierung der Modellentwicklung fallen auch erhebliche Kosten für die Schulung und den Unterhalt der Modelle an. Es wird geschätzt, dass die Schulung eines Modells wie ChatGPT zwischen 5 und 25 Millionen Dollar kostet. Eine Antwort auf eine Frage auf ChatGPT zu generieren, kostet schätzungsweise 0,01 bis 0,10 Dollar, also etwa 20 bis 200 Mal mehr als die Durchführung einer Google-Suche.
3. Sinkende Rechenkosten
   Mit der Entwicklung der Rechenleistung und der Verfügbarkeit von immer mehr spezialisierten Chips für die Ausführung großer Modelle des maschinellen Lernens sind die Kosten für das Training dieser Modelle erheblich gesunken. Sie sind zwar immer noch teuer, aber noch vor einigen Jahren wären die Kosten unerschwinglich gewesen.

Wie funktioniert die generative KI?

Um zu verstehen, wie komplexe Modelle wie ChatGPT trainiert werden, müssen wir einen etwas tieferen Blick auf neuronale Netze, Transformatoren, große Sprachmodelle und Reinforcement Learning mit menschlichem Feedback werfen. Auch wenn dies alles sehr umfangreiche Forschungsthemen sind, werden wir Ihnen die Grundlagen dafür vermitteln, was dies alles bedeutet, wie sie zusammenkommen, um ChatGPT zu erstellen, und wie sie einige der aktuellen Hindernisse in der generativen KI erklären.

<div class="insights_cta-component">Note: The way Generative AI works for image and video creation is different, but Transformers are still at the core of developments in this area. Since text generation models are most advanced, we will focus on them for the remainder of this section.</div>

Beginnen wir mit einem der beliebtesten Modelle für maschinelles Lernen: dem Neuronalen Netz.

Im Wesentlichen ist ein neuronales Netz ein maschineller Lernalgorithmus, der eine Eingabe in eine Ausgabe übersetzt (z. B. spanische Sprache in englische Sprache; oder ein Bild einer Katze oder eines Hundes in das Wort "Katze" oder das Wort "Hund").Neuronale Netze sind den Neuronen im biologischen Gehirn nachempfunden. Sie bestehen aus Schichten von Neuronen, die "Signale" an andere Neuronen weitergeben. Diese "Signale" sind im Wesentlichen reelle Zahlen, und die Art und Weise, wie die Signale in einem Neuron kombiniert werden, ist eine Funktion dieser Zahlen. Neuronale Netze können "lernen", indem sie die Funktion ändern, die jedes Neuron zur Kombination seiner Eingangssignale verwendet.

Eine Sache, die neuronale Netze traditionell schlecht können, ist die Verarbeitung einer großen Eingabesequenz auf einmal. Bei der Übersetzung vom Spanischen ins Englische beispielsweise würden sie den spanischen Satz Wort für Wort behandeln, was zu potenziell falschen Übersetzungen führen würde (z. B. würde "No hablo Español" zu "No speak Spanish" führen).

Hier kommt der Transformer ins Spiel: Es handelt sich dabei um eine besondere Art von neuronalem Netz, das effiziente Möglichkeiten bietet, große Eingaben auf einmal zu verarbeiten (z. B. die richtige Übersetzung von "Ich spreche kein Spanisch").

Diese Transformer-Modelle wurden dann verwendet, um die ersten Large Language Models (LLMs) zu erstellen. Ein LLM ist immer noch ein neuronales Netz (Transformers sind neuronale Netze), das heißt, es übersetzt eine Eingabe in eine Ausgabe. LLMs übersetzen einen Eingabesatz in einen Ausgabesatz, der um ein Wort erweitert wird. Die Eingabe könnte z. B. "The Shawshank" sein und die Ausgabe wäre "The Shawshank Redemption". Diese Modelle werden in der Regel auf großen Datensätzen trainiert, die aus Internetdaten und Büchern bestehen. Dadurch können LLMs sehr natürlich klingende Texte erzeugen, indem sie einen langen Eingabetext berücksichtigen und das nächste Wort vorhersagen.

Es gibt viele solcher LLMs, darunter GPT-3 (die Grundlage für die erste Version von ChatGPT), LaMDA (von Google für Bard verwendet) und LLaMA (von Facebook). Ein LLM wird als Grundlage für das Training von Modellen wie ChatGPT verwendet, kann aber auch für andere Aufgaben trainiert werden, wie die Beantwortung von Kundendienstfragen oder die Erstellung von Verträgen.

Um zu veranschaulichen, wie dieser Trainingsprozess funktioniert, sehen wir uns an, wie ChatGPT trainiert wurde. Im Wesentlichen ist ChatGPT immer noch ein neuronales Netz (genauer gesagt ein Transformator): Es nimmt eine Eingabe (eine Frage) und wandelt sie in eine Ausgabe (eine Antwort) um. Wie bereits erwähnt, verwendet es ein LLM als Basismodell und wird weiter trainiert, um diese spezielle Aufgabe zu erfüllen.

Eine der größten Herausforderungen für Modelle wie ChatGPT besteht darin, dass nur begrenzte Trainingsdaten zur Verfügung stehen - es gibt einfach nicht genügend Frage-Antwort-Paare, um das Modell zu trainieren (vergleichen Sie dies zum Beispiel mit Trainingsdaten für die Übersetzung von Spanisch ins Englische. Daher hat OpenAI 40 Personen (so genannte "Labeler") eingestellt, die 15.000 Fragen manuell geschrieben und beantwortet haben. Dieser Input und Output wurde verwendet, um eine Basisversion von ChatGPT zu trainieren. Mit dieser Grundversion wurden dann 35.000 weitere Fragen mehrfach beantwortet, und die "Labeler" wurden gebeten, diese Antworten in eine Rangfolge von gut bis schlecht zu bringen.

Ihr Feedback wurde genutzt, um das Modell noch weiter zu verbessern. Und nun kommt der entscheidende Schritt: Ein zweites neuronales Netz, das so genannte "Belohnungsmodell", wird auf den 35.000 Fragen und den bewerteten Antworten trainiert, um das Bewertungsverhalten der Beschrifter nachzuahmen. Dieses Belohnungsmodell kann dann in einer Schleife mit der Basisversion von ChatGPT verwendet werden, um es zu verbessern: Stellen Sie eine Frage, beantworten Sie sie mehrmals, bewerten Sie die Antworten und verwenden Sie diese, um das Modell zu verbessern. Diese Art von Trainingsprozess wird als "Verstärkungslernen mit menschlichem Feedback" bezeichnet.

Dies verdeutlicht sofort, warum diese Art von Modellen ein bestimmtes Verhalten zeigt. Sie können sehr überzeugend falsch sein, weil die Bezeichner überzeugende Antworten bevorzugen (besonders wenn sie die Antwort auf eine Frage selbst nicht kennen). Sie sind in der Regel recht freundlich, weil die Etikettierer wiederum freundliche Antworten bevorzugen. Letztendlich haben diese 40 Kennzeichner einen erheblichen Einfluss auf das Ergebnis des Modells, da das Belohnungsmodell auf ihrem Ranking basiert.

Wie werden die Verbraucher generative KI nutzen?

Wenn Sie in den letzten Monaten ChatGPT oder ähnliche Tools genutzt haben, haben Sie wahrscheinlich schon erfahren, dass die Einsatzmöglichkeiten von generativer KI für Verbraucher nahezu grenzenlos sind: von der Urlaubsplanung über die Suche nach Rezepten bis hin zu persönlichen Fitnessprogrammen und Filmempfehlungen. Der wesentliche Unterschied zwischen generativer KI und anderen Möglichkeiten, diese Informationen zu finden, besteht darin, dass die Verbraucher ihre Anfragen anpassen können, um vollständig personalisierte Antworten zu erhalten. Sie müssen sich nicht mehr durch Blogs wühlen oder sich auf Suchmaschinen verlassen, um die gewünschten Informationen zu erhalten, sondern können sie mit Hilfe der generativen KI finden.

Mit der Integration von generativer KI in Suchmaschinen werden noch mehr Verbraucher anfangen, generative KI zu nutzen, um die von ihnen benötigten Informationen zu finden, was höchstwahrscheinlich erhebliche Auswirkungen auf den SEA haben wird.

Wie wird sich generative KI auf Ihr Unternehmen auswirken?

In unserem nächsten Artikel werden wir detaillierter darauf eingehen, wie sich generative KI auf Ihr Unternehmen in allen Geschäftsbereichen auswirken wird: einschließlich Marketing, Recht, IT und Kundenservice. Obwohl es sich bei der generativen KI um eine noch unausgereifte Technologie handelt, gibt es bereits zahlreiche Anwendungsmöglichkeiten Fallstudien .

<div class="insights_cta-component">Questions? Comments? Want to have a conversation with our experts about the contents of this article? Get in touch with our team now!</div>

Nächste Folge in dieser Artikelserie

Im Laufe der Jahre haben wir durch die Unterstützung unserer Kunden viel gelernt, und wir werden unsere wichtigsten Erkenntnisse in einer Reihe von Veröffentlichungen mit Ihnen teilen - siehe unten die Liste der Themen, die wir behandeln werden:

• Einführung in die generative KI - Dieser Artikel ist der erste in unserer Serie über generative KI und konzentriert sich auf das Was und Wie der generativen KI

• Generative KI Fallstudien- Untersuchung, welche generativen KI-Anwendungen es bereits gibt und welche wir in (naher) Zukunft für möglich halten

• Implementierung von generativer KI - Was ist erforderlich, um generative KI erfolgreich zu implementieren: Technik und Daten, Prozesse und Organisation

• Generative KI und die Zukunft der Arbeit - Wie sich generative KI auf unsere Arbeit auswirken wird, welche Berufe sich verändern oder verschwinden werden und welche neuen Rollen erforderlich sein werden

• Die Bedeutung von Daten für die generative KI - Warum qualitativ hochwertige Daten für die generative KI (noch mehr) wichtig sind und wie Sie Ihre Daten für die generative KI fit machen können

• Werkzeuge und Prompting - Welche Tools stehen für die Implementierung von generativer KI zur Verfügung, und wie können Sie effiziente Prompts schreiben, um Tools wie ChatGPT in Ihrer Arbeit zu nutzen?

• Generative KI - Risiken/Fallstricke/ethische Bedenken/Vielfalt - Was schief gehen kann und wie man es vermeiden kann

Bleiben Sie dran!

Wir hoffen, dass Sie genauso begeistert sind wie wir und bitten Sie, uns mitzuteilen, wenn Sie bestimmte Themen oder Fragen haben, die wir mit Ihnen besprechen sollen.