Was ist ChatGPT? – Tutorial zu ChatGPT

Der KI-Chatbot ChatGPT ist aktuell in aller Munde und in diesem Kurs werden wir den Umgang mit diesem Tool Schritt für Schritt und praxisnah gemeinsam lernen. Bevor wir damit beginnen, sprechen wir kurz über die Entstehung und die Technologie hinter dieser KI. ChatGPT wurde Ende November 2022 von OpenAI der Öffentlichkeit präsentiert. OpenAI ist eine Firma, die sich schon seit geraumer Zeit mit künstlicher Intelligenz beschäftigt und in diesem Bereich forscht. Im Jahr 2015 wurde das unabhängige Forschungslabor von Sam Altman, der immer noch CEO ist, Greg Brockman, Elon Musk, Ilya Sutskever, Wojciech Zaremba und John Schulman gegründet. Ihr erklärtes Ziel oder vielmehr ihre Mission war es, sicherzustellen, dass künstliche Intelligenz zum Wohl der gesamten Menschheit eingesetzt wird. Das anfängliche Investment für diese Mission belief sich auf rund 1 Milliarde US-Dollar, wobei OpenAI bestrebt war, so wenig wie möglich davon auszugeben. Seitdem hat sich jedoch einiges geändert. Obwohl das erklärte Ziel auf der Website und in der Kommunikation des Unternehmens unverändert geblieben ist, wurde OpenAI im Jahr 2019 in ein profitorientiertes Unternehmen umgewandelt. Der wichtigste Geldgeber von OpenAI in den letzten Jahren war Microsoft. Das Unternehmen hat derzeit insgesamt 13 Milliarden US-Dollar investiert. Der Technologiegigant ist nicht nur die Haupteinnahmequelle für OpenAI, sondern stellt auch die gesamte erforderliche Rechenleistung über Azure zur Verfügung. Und für ein Tool wie ChatGPT ist diese Menge gigantisch. Microsoft selbst verwendet mittlerweile auch eine Version von GPT für den hauseigenen KI- Chatbot Bing und plant, in Zukunft die Zusammenarbeit mit OpenAI noch zu erweitern. Aber wofür steht eigentlich das GPT in ChatGPT? GPT steht für 'generative pre-trained transformer'. Das magister jetzt auf den ersten Blick etwas kompliziert klingen, aber mit einigen Analogien lässt es sich recht gut erklären. Und wenn wir dann verstanden haben, wie die Technologie funktioniert, wird das unsere Arbeit mit dem Tool erheblich erleichtern. Ein generative pre-trained transformer ist eine spezielle Art eines sogenannten 'Large Language Models' oder kurz LLM. Diese Modelle können Muster aus Daten lernen und dann vorhersagen oder Entscheidungen treffen, ohne explizit dafür programmiert worden zu sein. Betrachten wir die drei Komponenten von GPT genauer. 'Generative' bedeutet, dass das Modell die Fähigkeit hat, Ausgaben zu generieren. In den meisten Fällen handelt es sich dabei um irgendeine Form von Text. Pre-trained - das Modell wird vor trainiert, indem es eine riesige Menge an Daten erhält. Bei den GPT-Modellen von OpenAI handelt es sich dabei um unglaublich viel Text, der den Modellen während des Trainings zur Verfügung gestellt wird. Das 'Pre' in 'pre-trained' bedeutet, dass bei diesen Modellen zunächst das allgemeine Training stattfindet, bevor das Modell dann für speziellere Aufgaben weiter feinabgestimmt wird. Ein Buchstabe fehlt jetzt noch, und zwar das T. Das steht, wie wir bereits wissen, für 'Transformer'. Damit bezeichnen wir die Art und Weise, wie das Modell arbeitet. GPT-Modelle verarbeiten sequentielle Daten, wie Sätze, nämlich nicht zwangsläufig in linearer Reihenfolge. Das bringt einen Riesenvorteil mit sich, denn wir arbeiten hauptsächlich mit Sprache und es kommt regelmäßig vor, dass die Bedeutung eines Wortes manchmal von anderen Wörtern abhängt, die sowohl davor als auch danach kommen können. GPT ist in der Lage, den Kontext miteinzubeziehen und liefert uns so in der Regel sinnvolle Antworten. Aber sehen wir uns doch mal ein Beispiel an, dass die Arbeitsweise von GPT besser veranschaulicht. Wenn wir dem Chatbot eine einfache Frage stellen wie "Was ist eine Taube?", dann wird das Modell als Erstes den Satz analysieren und die einzelnen Wörter erkennen und einordnen. Es erkennt an der Satzstruktur, dass es sich um eine Frage handelt und am Wort 'Taube', dass ich Informationen über Tauben suche. Jetzt erinnert sich das Modell an alle Informationen und Daten, die es während des Trainings zu Tauben gelernt hat. Es beginnt dann eine Antwort zu erstellen. Diese fängt auf so eine Frage dann sehr wahrscheinlich mit 'eine Taube' an. Anschließend vervollständigt GPT den Satz, indem es mit Wahrscheinlichkeits- rechnung kalkuliert, welche Worte sinngemäß auf das Vorherige folgen müssten. Ganz ähnlich, wie wir es von der Tastatur auf dem Handy kennen. Es wird also den Satz weiterschreiben, in dem es sagt "Eine Taube ist ein Vogel, der in vielen Teilen der Welt vorkommt." So hat das GPT-Modell eine vollständige Antwort auf die Frage generiert, basierend auf dem, was es während seines Trainings gelernt hat. Es versteht nicht wirklich, was eine Taube ist, aber es kann die Information wiedergeben, die es gelernt hat. Dieses Schema lässt sich nun auf sehr viele weitere Anwendungsgebiete übertragen, da die neuen GPT-Modelle mit extrem vielen Daten trainiert wurden und so für fast alle Themen in der Lage sind, eine sinnvolle Antwort zu generieren.