Google Gemini im Test: Kreativ überfordert

Gemini ist Googles geupdatete Antwort auf ChatGPT und Copilot. Die Sprach-KI überzeugt im Test mit schneller Erstellung komplexer Analysen, scheitert dafür kreativ und halluziniert auch noch hin und wieder.

Google Gemini im Test: Kreativ überfordert
Foto: Google

(Dieser Beitrag wurde umfangreich redigiert und am 14. Februar 2024 aktualisiert, um Google Gemini abbilden zu können.)

Googles KI Gemini löst das noch junge Bard-Projekt ab. Fehlender Feinschliff wie beim „Vorgänger“? Schon, aber weniger dramatisch. Denn Gemini ist so ausgereift, dass Google damit beginnt, die künstliche Intelligenz tief im eigenen Ökosystem zu verankern.

Inhalt:

So greifst du auf Google Gemini zu

Der Zugang zu Googles KI-Modell Gemini ist denkbar einfach: Surfe auf gemini.google.com/app, und logge dich gegebenenfalls mit deinem Google-Konto ein. Das klappt derzeit nur über einen Browser auf dem Desktop oder im Smartphone.

Aber zurück zur Gemini-Webseite: Ohne Google-Konto läuft nix, dafür ist Gemini im Gegensatz zu seinem Konkurrenten ChatGPT derzeit ohne Zusatzkosten vollumfänglich nutzbar.

Nach dem Login siehst du die Eingabemaske mit einigen Betätigungsfeldern und der Prompt-Eingabe. Die Stichworte Verstehen, Entwerfen und Entdecken sind einige der ungezählten Vorschläge, was mit Google Gemini theoretisch möglich ist.

Wie bei ChatGPT und Co. gibst du im Textfeld einfach deine Befehle an Gemini ein. Google Gemini nimmt diesen sogenannten Prompt entgegen und dieser löst dann die Generative KI aus, die versucht, die Aufgaben so gut wie möglich umzusetzen.

Google Gemini im Web
Die Gemini-Benutzeroberfläche sieht jetzt nicht viel anders aus als Bard. (Eigener Screenshot)

Da wir eine Vergleichbarkeit, insbesondere zu Windows-11-Copilot (und dessen ChatGPT-Unterbau) gewährleisten möchten, testen wir die KI mit gleichen und auch neuen Aufgaben.

Google Gemini ein Hintergrundbild erstellen lassen – klappt nicht

Google bietet bereits einen Bildgenerator an, der den Namen Search Generative Experience trägt. Die Funktion ist auch gut ein Jahr später nur in einer Alpha-Version über Google Labs verfügbar, jedoch nur für Erwachsene in verschiedenen Ländern außerhalb der EU.

Google Gemini ist jedoch auch hierzulande verfügbar – und die Bildgenerierung sollte für diese KI ein Klacks sein. Genau wie bei Copilot setzen wir einen Prompt: Gestalte ein Foto von drei Axolotl, die als Metal-Band auf einer Bühne rocken.

Ein Bild kommt nicht heraus, eine Textnachricht tröstet darüber, dass Gemini aus sich heraus keine Bilder generiert. Ein klarer Fortschritt zu Bard, das eine umfangreiche Antwort halluzinierte, die mit dem Prompt nix zu tun hatte.

Fehlende Antwort in Google Gemini
Statt fehlende Kompetenzen wegzuhalluzinieren – wie dies Bard tat – sagt Gemini klipp und klar, was es nicht kann. (Eigener Screenshot)

In Google Gemini komplexe Tabellen erstellen

Bilder kann Gemini also (noch) nicht erstellen – aber vielleicht einige komplexere Dokumente mit Tabellen und Vergleichen? Da war Copilot ganz gut drin. Testen wir es mit einer Tabelle:

  • Öffne Google Gemini.
  • Gebe einen Prompt ein, mit dem wir Gemini anregen, eine Tabelle zu erstellen: Erstelle eine Tabelle, in der du die Spielkonsolen der sechsten Generation miteinander vergleichst. Nimm außerdem die jeweils zehn erfolgreichsten Games auf. Drücke nun Enter oder auf Senden.
  • Warte einige Zeit, bis Gemini die Aufgabe erledigt hat.

Und siehe da, Gemini beherrscht diesen Task besser als sein Windows-Gegenstück:

Tabelle in Google Gemini
Die Tabelle erstellt Gemini inhaltlich korrekt – das Layout aber passt sich nicht ans Browserfenster an. (Eigener Screenshot)

Der Versuch, die Tabelle via GMail zu exportieren, scheitert. Bard hatte damals den Versand bestätigt und erst im Nachhinein eingeräumt, dass es nicht möglich sei, die erstellten Tabelle per Mail zu senden.

Anleitung in Google Gemini
Ein Versand der generierten Antworten ist nicht automatisiert möglich – aber Google Gemini hilft, dass du es selbst hinbekommst. (Eigener Screenshot)

Gemini ist sich dessen „bewusst“ und bietet eine kurze Schritt-für-Schritt-Anleitung, mit der du die Tabelle doch noch selbst schicken kannst. Ein guter Service! Du kannst die Tabelle aber auch direkt in Google Docs exportieren, indem du auf die entsprechend beschriftete Schaltfläche klickst.

Von Google Gemini erstellte Tabelle
Die Tabelle ist mit einem Klick in Google Online-Office exportiert. Die Infos sind fein säuberlich arrangiert. (Eigener Screenshot)

Lange Dokumente mit Google Gemini erstellen

Unser zweiter Dokumenten-Test umfasste ein Jahrbuch, das die KI gestalten soll. Copilot schuf eine Struktur, die ebenso brauchbar wie hässlich war. Unser Jahrbuch soll Gemini als Word-kompatibles Dokument anfertigen:

  • Öffne Google Gemini
  • Gib folgenden Prompt ein: Erstelle ein Word-Dokument, das mir als Vorlage für ein Jahrbuch meiner Mittelschule Altenhofen, Klasse 10, dient. Drücke Enter oder klicke auf die Senden-Schaltfläche.
Prompt, mit dem ein Word-Dokument in Google Gemini erzeugt werden soll
Fast identisch zu Bard ist Geminis Vorschlag eines Jahrbuchs – eine Verbesserung ist es also nicht. (Eigener Screenshot)

Wie bei Copilot auch, ist der Vorschlag äußerst grob und nicht brauchbar, um direkt mit der Bearbeitung loszulegen. Ein Export in ein Word-Format oder Googles Online-Office ist ebenso wenig möglich. Die Aufforderung nach einem Export in Google Docs führte zum erneuten und kommentarlosen Ausspielen des Jahrbuch-Entwurfs in Gemini.

Export von Word-Dokumenten in Google Gemini
Tabellen kannst du exportieren – Word-Dokumente nicht. Immerhin bietet dir Gemini eine brauchbare Anleitung zur Selbsthilfe an. (Eigener Screenshot)

Musik erstellen? Nur theoretisch

Bilder kann Gemini also schon mal nicht, dafür aber gute Entwürfe und auch komplexe Tabellen anfertigen. Wie schaut es mit kreativen Tasks wie der Musikkomposition aus? Finden wir es heraus!

  • Öffne Google Gemini. Starte gegebenenfalls einen neuen Chat.
  • Gebe folgenden Prompt ein: Erstelle ein instrumentales Heavy-Metal-Stück als MP3. Bestätige die Eingabe.

Daraufhin kreiert Google Gemini die textbasierte Blauskizze für einen Song:

Blaupause für ein Lied unter Gemini
Danke für nix! Immerhin erkennt Google Gemini nun ungültige, weil herbei halluzinierte Links. (Eigener Screenshot)

Da Musik in Textform nicht so fetzt, wollen wir das Ganze exportieren. Erneut vertröstet Gemini damit, die Datei nicht direkt exportieren zu können. Laut der KI können wir sie aber exportieren, wobei es nur ungültige Hyperlinks gibt. Also wieder nix…

Misslungener Export einer MP3 in Google Gemini
Wir fragen mal ganz direkt und höchst professionell: Hä? (Eigener Screenshot)

Fotos analysieren

Zwar kann Google Gemini keine Fotos oder Bilder erstellen, solche aber analysieren. Da uns Gemini keine Bilder renderte, nehmen wir diesmal sofort eigenes Foto-Material mit Tieren.

  • Öffne Google Gemini und/oder starte gegebenenfalls einen neuen Chat.
  • Klicke auf das Foto-Icon links vom Prompt und wähle ein Foto oder Bild aus einem lokalen Ordner aus.
  • Warte, bis das Bild hochgeladen ist. Stelle dann deine Frage dazu. Wir fragen: Was ist das für ein Tier?
image 12
Google Gemini Bilderkennung

Den Waschbären konnte Gemini sicher identifizieren – und schlägt Bard in mehrerer Hinsicht! Die Beschreibung ist viel genauer und einfacher zu lesen, neben der Tierbeschreibung kann Gemini auch das Bild als solches analysieren, erkennt also die Szene. Ein einedeutiger Fortschritt!

Da uns die Infos aber nicht weit genug gehen, haben wir Gemini noch nach der Lebensdauer der Racker gefragt.

Die Antwort ist zunächst sehr umfangreich und schmeißt nicht nur platt eine durchschnittliche Waschbär-Lebensdauer in die Prompt-Antwort. Das ist hilfreich, um eigenes Wissen zu vertiefen. Wobei… sind die Infos vertrauenswürdig? Graben wir etwas tiefer.

Antwort von Gemini auf eine Frage zu Waschbären
Google Gemini antwortet umfangreich – aber auch richtig? (Eigener Screenshot)

Wie faktensicher ist Google Gemini?

Hier erweitern wir unser Test-Prozedere und wollen wissen, wie faktengetreu Google Gemini mit Stand Februar 2024 ist. Generative KIs neigen nämlich dazu zu halluzinieren, also Antworten zu erfinden, wenn sie keine passenden finden.

Wir starten mit den Basics. Unser Prompt: Wer ist der amtierende Bundespräsident der Bundesrepublik Deutschland? Die korrekte Antwort kennt Gemini: Frank-Walter Steinmeier. Etwas Kontext zur Person liefert Gemini ebenso mit.

Google Gemini konfrontierten wir erneut mit dem oben erwähnten Prompt. Die Antwort darauf war ähnlich. Aus dem Tritt brachten wir Gemini aber schon mit einer (falschen) Feststellung: Das ist falsch. Daraufhin begann Gemini zu halluzinieren, unser Bundespräsident hieße Walter-Franz Steinmeier.

Falsche Antwort von Google Gemini
Wir lagen alle falsch – Walter-Franz for President! (Eigener Screenshot)

Neu ist hier die Flag Vorschläge anzeigen, bei denen wir aus diversen, inhaltlich komplett verschiedenen Antworten wählen können. Fakten nach eigenem Gusto? Bedenklich!

Antwortoptionen in Google Gemini
Hinter einer Flag bietet Gemini „alternative“ Fakten an – bedenklich! (Eigener Screenshot)

Reines Faktenwissen abklopfen

Als Lehrer im Quereinstieg für die Fächer Geschichte und Gemeinschaftskunde bin ich oft damit konfrontiert, dass Schülerinnen und Schüler meinten, eine KI könne bei Hausaufgaben und Aufsätzen helfen.

Wirklich?

Was mir immer wieder auffällt, ist, dass die bisherigen KI-Modelle äußerst austauschbare Infos geben. Wir baten Google Gemini ein kurzes Referat zum Zweiten Weltkrieg zu schreiben. Dies führte zu einem sehr oberflächlichen Text, der die Anforderungen der entsprechenden Klassenstufe in der Mittelschule nicht erfüllt.

Referat von Google Gemini
Mehr Zeittafel als Referat – und damit nicht brauchbar. (Eigener Screenshot)

Genauer: Die Zusammenfassung ist eher ein zeitlicher Abriss, aber kein Referat im eigentlichen Sinne. Gemini entschuldigt sich damit, dass das Thema zu komplex sei – was stimmt! Aber für Ich-mache-mal-schnell-die-Hausaufgaben-Abkürzungen ist Gemini nicht geeignet.

Immerhin besitzt Gemini gegenüber Bard Zusatzwissen. Beispielsweise, dass auch der Krieg im Pazifik und der Abwurf der Atombomben dazugehört.

Durchgefallen in Deutsch

Da Schülerinnen und Schüler auch gerne KI-Unterstützung für Deutsch heranziehen, hier ein weiteres Beispiel. Google Gemini soll „Städter“ von Alfred Wolfenstein analysieren – eine echte Aufgabe aus dem Unterricht.

Google Bards Antwort hätte anno dazumal eine 6 eingebracht. Es war faktisch alles falsch an der Analyse und Interpretation. Gemini ist da sattelfester und bietet brauchbare Versatzstücke – eine 1 ist das dennoch nicht.

Textinterpretation von Alfred Wolfenstein "Städter"
Ein Wort: brauchbar! (Eigener Screenshot)

Die letzte Aufgabe für Bard war damals eine Interpretation von Caspers „Hinterland“ – Gemini ist hierbei, gelinde gesagt, Weltspitze!

Textinterpretation von Caspers "Hinterland" in Google Gemini
Solide analysiert! (Eigener Screenshot)

Fazit: Weit von der Spitze, aber mit Potenzial

Google holt auf! Gemini scheitert zwar wie Bard an kreativen Aufgaben, ist nun aber wesentlich transparenter mit Fehlschlägen und liefert bei Bedarf kleine Workarounds, um beispielsweise Ergebnisse zu exportieren.

Auch die Textinterpretation von Gedichten und Songs ist richtig gut, die Bilderkennung ebenso. Da hat Google mit dem Modellwechsel einen richtig smarten Move hingelegt.

Perfekt sind die textbasierten Antworten aber bei weitem nicht! Die Halluzinationen zu Faktenwissen sind bedenklich – dass man auch aus mehreren Vorschlägen die einem selbst genehmen Antworten wählen kann ein Unding. Aber ich bin positiv: Gemini ist ein großer Schritt in die Richtung, jetzt muss Google die vielen kleinen Fehler beseitigen.

Neue Beiträge abonnieren!

Täglich frisch um 17 Uhr im Postfach

Themenauswahl

Änderungen jederzeit über die Abo-Verwaltung möglich – weitere Themen verfügbar

Jetzt kommentieren!

Schreibe einen Kommentar

*
*
Bitte nimm Kenntnis von unseren Datenschutzhinweisen.