Verschiedenste Unternehmen und Projekte arbeiten an immer neuen Lösungen zur künstlichen Intelligenz für eine automatische Sprachgenerierung. Amazon, Microsoft, NVIDIA und viele mehr haben ihre Finger im Spiel. Wie heise.de berichtet, möchte jedoch Google nun nach eigenen Aussagen einen Durchbruch in der KI-Forschung erreicht haben.
PaLM sticht GPT-3 aus
Mit seinem Pathways Language Model (PaLM) sollen präzisere und tiefergreifende Texte generiert werden können als mit anderen Sprachmodellen. Rund 540 Milliarden Parameter wurden mittels DeepLearning in das Modell eingepflegt. Diese Parameter sind wichtig, da sie dem System Wahrscheinlichkeiten näherbringen, die bestimmen, welches Wort auf eine vorangegangene Wort- oder Satzfolge folgen könnte. Überdies scheint Google allerdings auch erfolgreich am Algorithmus selbst gearbeitet zu haben, der nicht nur die Textverarbeitung, sondern auch das Textverständnis gegenüber anderen Sprachsystemen wie etwa GPT-3 von OpenAI deutlich verbessern soll. Insbesondere in der Arithmetik und im Erkennen von Witz und Humor sollen Fortschritte gemacht worden sein. Dies erklärt Google in einem Blogeintrag.
Die KI-Forscher des Internetgiganten zeigen sich in ihren Messungen überzeugt und berichten von starken Leistungen unterschiedlicher Verwendungen von Natural Language Processing (NLP). So soll PaLM besser als jemals zuvor logische Schlussfolgerungen anstellen können, was in der Branche als Reasoning bezeichnet wird, aber auch das Schreiben von Code wird offenbar immer besser.
Logisches Denken wird zur Kernkompetenz
Interessant ist hierbei, dass Googles Sprachmodell nicht nur auf Informationen aus seinem antrainierten Datensatz zurückgreift, sondern auch weiterdenken kann. Tatsächlich scheint es dem Algorithmus möglich, auf diese Art zwischen den Zeilen zu lesen und gewisse Informationen zu ergänzen. Besonders wichtig für die Entwicklung der künstlichen Intelligenz scheint ein neuer Fokus auf eine klare Unterscheidung zwischen Ursache und Folgewirkung zu sein. Dies führe auch dazu, dass Konzepte und Kontexte besser verstanden werden sollen.
Das logische Denkvermögen erlange PaLM auch durch eine Neuerung, die Anregungen des Anwenders in ganze Gedankenketten verwandeln kann. Google spricht in diesem Zusammenhang von Chain-of-Thought-Prompting. Doch das ist nicht alles. Eine wesentliche Funktion, die die Entwickler integriert haben, erlaubt es dem Modell ’sparcely activated‘ zu werden. Hierfür werden nur bestimmte Areale des gesamten Netzwerks für die jeweiligen Aufgaben verwendet, was an die Funktionsweise des Gehirns erinnert. Dies führt zu einer enormen Reduktion des Energieverbrauchs und gleichzeitig zu einer Beschleunigung der Rechenprozesse.
6144 TPU v4 Chips befeuern den Algorithmus
Die Entwickler trainierten ihr System laut eigenen Aussagen in erster Linie mit hochwertigen Inhalten aus dem Internet, aber auch mit Büchern, Wikipedia-Artikeln, öffentliche Chat-Unterhaltungen und GitHub-Code. Um derart viele Parameter zu verwenden, waren laut Google 6144 TPU v4 Computerchips notwendig. Das System übertrifft so die Konkurrenz auch in der Trainingseffizienz. Diese liege bei der Google-KI bei 57,8 % der FLOP-Hardwareausnutzung. Open AI´s GPT-3 kam in diesem Wert auf 55 %.