Die Arbeit im Onlinemarketing ist seit jeher von den neuesten Trends und technischen Innovationen geprägt. Während frischer Content auf TikTok & Co. kommt und geht, ist es vor allem die Entwicklung neuer Tools, die uns als Agentur langfristig beeinflusst. Sei es die Etablierung neuer Social-Media-Kanäle oder die Fortschritte der künstlichen Intelligenz. Im Februar haben wir euch bereits 5 Wege gezeigt, wie ihr die KI im Onlinemarketing für euch arbeiten lassen könnt. Seitdem haben wir die Tools untrennbar in unseren Arbeitsalltag integriert und besonders den Platzhirsch ChatGPT einem umfassenden Praxistest unterzogen. Unsere spannenden Ergebnisse (Stand Oktober 23) über die Chancen und Limits des „Big Language Models“, möchten wir euch in diesem Artikel zeigen.

ChatGPT-Praxistest für die Erstellung von Social Media Beiträgen

Ein wesentlicher Teil der Arbeit digitaler Agenturen besteht darin, für die eigenen Kund:innen Social Media Beiträge zu planen und zu erstellen. Um ChatGPT zu testen, haben wir unsere alltäglichen Arbeitsschritte umfassend theoretisch skizziert. So konnten wir lokalisieren, in welchen Bereichen uns die künstliche Intelligenz die meiste Unterstützung bietet.

Einige dieser Arbeitsschritte können, verhältnismäßig leicht, an die KI ausgelagert werden, um Zeit zu sparen. Andere wiederum erfordern deutliche Mehrarbeit und lassen, besonders bei erfahrenen Redakteur:innen, den kurzfristigen Mehrwert fragwürdig erscheinen. Als besonders geeignet erweisen sich Datenaufbereitungen und -analysen, Unterstützung bei der Ideenfindung sowie die Strukturierung von Texten. Unter Einbeziehung entsprechender Plugins können auch Recherchetätigkeiten partiell erledigt werden. Das Herz unserer Arbeit, die kreative Erstellung von Beiträgen, haben wir uns genauer angesehen.

Wie wurde der Praxistest für Social Media Beiträge umgesetzt?

Ein besonders wichtiger Faktor für hochwertige Ergebnisse ist die Formulierung der Anweisungen an ChatGPT, bzw. die Zurverfügungstellung der notwendigen Informationen. Diese Anweisungen, auch Prompts genannt, sind daher der wesentliche Arbeitsaufwand bei der KI-unterstützten Erstellung von Social Media Beiträgen. Je besser diese formuliert werden, desto zielorientierter das Ergebnis. Um optimale Prompts erstellen zu können, sind profunde Kenntnisse der (Werbe-)Botschaften, sowie jene zu Unternehmen, CI, Kampagne, Historie, Sprachstil und natürlich des verwendeten Tools selbst erforderlich. Wir haben in unserem Test des Weiteren Angaben zur Komplexität der Texte gegeben und eine Anfrage zur Berücksichtigung kanalspezifischer Anforderungen gestellt. Um all dieses Wissen einpflegen zu können, müssen diese Prompts von Personen mit ähnlicher Expertise geschrieben werden, wie jene, die bisher diese Aufgaben verrichteten.

Ergebnisse des ChatGPT-Praxistests

Möchte man alle theoretisch möglichen Arbeitsschritte an ein KI-Tool auslagern, scheint sich der Arbeitsaufwand auf den ersten Blick zu reduzieren. Jedoch benötigt die Verwendung viel Vor- und Nacharbeit, die von qualifizierten Personen mit Know-How durchgeführt werden müssen. Während der Konzipierungs- und Rechercheaufwand sich zwischen der manuellen und der KI-gestützten Umsetzung circa die Waage halten, entsteht beim Verfassen von Texten ein wesentlicher Unterschied: Das manuelle Texten durch erfahrene Autor:innen geht gesamtheitlich schneller. Wie sich dieser überraschende Umstand ergibt? Für die Prompt-Erstellung, den Überarbeitungsprozess und die Faktenüberprüfung ist bei ChatGPT mit dem beinahe doppelten Zeitaufwand zu rechnen. Außerdem können die Texte nicht unbearbeitet weiterverwendet werden; wodurch ein weiterer Korrekturaufwand entsteht. Lektorat, Feedbackschleife und Einspielprozess wiederum benötigen bei beiden Varianten gleich lange.

Als Zwischenergebnis kann festgehalten werden: Die Arbeitsprozesse bei der Kreation mit ChatGPT verschieben sich weg von einer gestalterischen Tätigkeit hin zu korrigierenden Maßnahmen und dem fortlaufenden „Anlernen“ der KI.

Für die Erstellung aufwendiger und anspruchsvoller Social Media Beiträge mittels KI-Tools ergibt sich in unserem Praxistest somit ein 20%iger bis 66,67%iger Mehraufwand.

Blogerstellung im ChatGPT-Praxistest

Für Langtexte, wie unsere Blogartikel, unterscheiden sich die Ergebnisse unserer Auswertung. Hierfür sind KI-unterstützte Herangehensweisen und manuelle Arbeitsprozesse gleichermaßen zeitaufwendig. Die menschliche Schaffensphase ist, im Schnitt, deutlich zeitfressender als ChatGPT für das Verfassen der eigentlichen Texte benötigt. Jedoch kommen auch hier die erwähnten Vor- und Nacharbeiten hinzu, was den zeitlichen Aufwand wieder ausgleicht.

Während unseres ChatGPT-Praxistests sind wir in Bezug auf längere Texterstellung auf ein zusätzliches Funktionsproblem gestoßen: Besondere Schwierigkeiten hat ChatGPT beim Erstellen von Texten mit vorgegebener Wortanzahl. Hierfür wurde, zum Beispiel, ein Text mit einer Länge von 1000 Wörtern angefordert. Trotz mehrerer Versuche, Nachfragen und Spezifikationen, blieb der durch das Tool generierte Text stets unter 700 Wörtern. Die allgemeine Schwankungsbreite liegt aktuell (je nach angestrebter Länge) somit bei 20 bis 50 Prozent.

Bei KI-generierten und von Menschen verfassten Texten mit vergleichbarer Zeichenanzahl fällt zudem auf, dass die KI dazu neigt, kürzere Wörter zu verwenden und dementsprechend auf etwa 25% mehr Wörter pro Text kommt. Dies ist vor allem für Social Media Postings interessant, wirkt sich aber auch auf die Lesbarkeit von Blogartikeln zu einfachen Themen positiv aus. Für komplexere Themen oder eine fachlich gebildete Zielgruppe kann dieser Umstand wiederum leicht generisch oder oberflächlich wirken.

Fazit der KI-unterstützten Langtexte

Als Innovations-orientierte Agentur waren wir über diesen technischen Fortschritt begeistert, denn die Artikel, welche ChatGPT uns im Praxistest geliefert hat, sind oberflächlich betrachtet wirklich ansprechend. Besonders dann, wenn ein ausreichend komplexer und kompletter Prompt verwendet wird. Jedoch kann ChatGPT gleichzeitig nicht von sich aus unterscheiden, welche Inhalte korrekt sind. So muss die Datenqualität der auf diese Weise kreierten Blogartikel stets manuell überprüft werden. Es werden im Allgemeinen, durch das Tool, keine Quellenangaben mitgeliefert. Inkorrekte Zitate, Verweise, falsche Behauptungen, eine, daraus resultierende, irreführende Wortwahl und ähnliche inexakte/unpräzise Ergebnisse sind die Folge. Im fachlichen Diskurs ist gar inzwischen von „Datenhalluzinationen“ die Rede. Diese ungewollten Ergebnisse sind überwiegend dem momentanen Status quo des Lernfortschritts geschuldet, der jedoch, und das ist der große Vorteil dieser zukunftsorientierten Systeme, rasant voranschreitet.

Fallstrick Sicherheit & Datenschutz

Als wesentlichen Faktor haben wir in unserem ChatGPT-Praxistest gelernt, dass die Qualität aller KI-unterstützen Texte umso besser ist, je ausführlicher die „vorgefütterten“ Informationen sind. Hier korrelieren die Tools jedoch mit dem vermeintlich größten Problem des digitalen Zeitalters: Dem Datenschutz.

Handelsblatt.com schreibt dazu „OpenAI speichert personenbezogene Daten, um den Chatbot ChatGPT zu verbessern und das Sprachmodell im Hintergrund zu trainieren. Daher gilt es, Privates und Geschäftsgeheimnisse zu schützen.“ Es gilt daher, bei der Anwendung dieser Tools als Organisation besondere Vorsicht im Umgang mit personenbezogenen Daten walten zu lassen und generell mit Bedacht zu agieren.

Gesamtfazit des ChatGPT-Praxistests

Die derzeitige Leistungsfähigkeit KI-gestützter Textgeneratoren ist bereits enorm und für viele Szenarien gut bis ausgezeichnet anwendbar. Darunter fallen etwa Strukturierungen und Formatierungen, Ideenfindungen und sogar Code-Erstellung. Gleichzeitig sind die Tools jedoch, momentan, nur bedingt für Kreativleistungen im professionellen Umfeld einsetzbar. Dies erfordert speziell geschultes Personal (Prompt-Experten) und eröffnet neue (zusätzliche) Arbeitsprozesse, die bei traditionellen Herangehensweisen nicht erforderlich waren (Stichwort: Faktencheck, Justierung des Sprachstils).

Wir haben in unserem Praxistest viel gelernt und wissen nun, wann der Einsatz von KI, vor allem ChatGPT, sinnvoll und zielführend ist. Genau wie wir in unserem Team unterschiedliche Fähigkeiten zu schätzen wissen, so erkennen wir auch das Potential, das diese neuen, innovativen Tools als Ergänzung unserer bestehenden Expertise ermöglichen. Gerne helfen wir auch eurem Unternehmen, marketingtechnisch und außenwirksam am Puls der Zeit zu bleiben. Wir stehen euch jederzeit für Anfragen oder ein unverbindliches Beratungsgespräch zur Verfügung.