Diese Studie untersucht die Konsistenz von ChatGPTs Zero-Shot-Textklassifikationen und -Annotationen. Anhand der Texte von 234 manuell annotierten Webseiten, die als Nachrichten oder Nicht-Nachrichten klassifiziert wurden, wird der Einfluss von drei Faktoren auf die Zuverlässigkeit der Klassifikationen untersucht: Variationen in den Prompts und einem wichtigen Modellparameter (temperature) sowie die interne Konsistenz bei Wiederholung von identischen Eingaben. Die Ergebnisse zeigen eine erhebliche Empfindlichkeit gegenüber teils minimalen Variationen in den Prompts (Mittelwert Krippendorffs α = 0,43). Die Konsistenz identischer Eingaben schwankt, niedrigere temperature-Einstellungen führen aber erwartungsgemäß zu einer höheren Konsistenz der Ausgaben. Insgesamt kann empfohlen werden, Anfragen in identischer Weise mehrfach zu wiederholen und die Klassifikationsentscheidung auf Mehrheitsentscheid aller Wiederholungen zu basieren. Dies verbessert die Zuverlässigkeit erheblich. Insgesamt bleibt festzuhalten, dass die Zuverlässigkeit von ChatGPTs Zero-Shot-Textklassifikationen oft nicht wissenschaftlichen Standards entspricht. Eine menschliche Validierung der Klassifikationsergebnisse bleibt weiterhin notwendig.

Im Kontext der Datafizierung sind Social-Media-Beiträge eine wichtige Quelle für automatisierte Analysen in der Kommunikationswissenschaft. Hierbei spielen multimodale Inhalte, die verschiedene Modalitäten wie Text, Bild und Ton gemeinsam darstellen, eine zunehmend wichtige Rolle. Die Analyse dieser Inhalte stellt die Forschung allerdings vor methodische Herausforderungen, da Bilder und Texte unterschiedlich verarbeitet werden müssen und oft unklar ist, wie die Informationen der verschiedenen Modalitäten verknüpft werden können. Bisherige Analyseverfahren in der Kommunikationswissenschaft sind meist unimodal, während eine Übersicht zu bestehenden multimodalen Ansätzen und ihren Eigenschaften fehlt. Der Beitrag identifiziert drei verschiedene Gruppen von Ansätzen zur Analyse von multimodalen Inhalten, die sich anhand der Zahl der untersuchten Konzepte und der jeweiligen analytischen Zwischenschritte unterscheiden. Dabei werden verschiedene Anwendungsbeispiele für die drei Ansätze dargestellt und die Vor- und Nachteile der einzelnen Verfahren für verschiedene Fragestellungen diskutiert.

Der Beitrag verfolgt das Ziel, Forschungstrends und Praktiken im Umgang mit Daten in der deutschsprachigen Kommunikationswissenschaft der vergangenen 20 Jahre nachzuzeichnen. Dazu werden Befunde einer inhaltsanalytischen Untersuchung von Fachzeitschriftenbeiträgen (n=968) präsentiert, die sich auf Primär- und Sekundärdaten stützt. Um eine mögliche empirische Aufbruchstimmung nachzuvollziehen, wurden die Anteile empirischer und nicht-empirischer Beiträge gegenübergestellt. Es zeigt sich deutlich, dass empirische Beiträge zum Standard der deutschsprachigen kommunikationswissenschaftlichen Publikationen der vergangenen 20 Jahre gehören und einen groben Anteil von etwa zwei Dritteln an der Gesamtzahl der Beiträge ausmachen.

Im Vortrag wird die Entwicklung durch weitere Befunde, z. B. zur Herkunft der analysierten Daten und ihrer Auffindbarkeit genauer eingeordnet. Weitere Zeitreihen zeigen das Verhältnis von qualitativer zu quantitativer Forschung und die Entwicklung angewandter Methoden (z. B. computational methods) über die Zeit und geben Auskunft darüber, ob die Kommunikationsforschung als datengetrieben charakterisiert werden kann und welchen Einfluss Verdatung und Datafizierung auf die Forschungspraktiken im Fach nehmen.

Vor dem Hintergrund generativer pretrained transformer Assistenzsysteme und den Möglichkeiten über und mit KI zu forschen, ist auch die an Datafizierung interessierte Kommunikationswissenschaft aufgefordert, über ihre methodischen Zugriffe nachzudenken. Der Vortrag diskutiert critical data studies als vielversprechenden Ansatzpunkte, um Datafizierung von Kommunikation empirisch zu greifen, zu analysieren und zu theoretisieren. Die Präsentation gliedert sich dabei in drei Teile: Erstens werden bestehende CDS-Ansätze vorgestellt und ihre Anknüpfungspunkte für kommunikationswissenschaftliche Studien diskutiert. Zweitens wird anhand von empirischen Beispielen aus einem aktuellen Forschungsprojekt der Übertrag von CDS auf kommunikationswissenschaftliche Fragestellungen illustriert. An Beispielen von App-Analysen wird unter anderem gezeigt, wie die technologischen Affordanzen a) Mensch-App-Kommunikation, b) öffentlicher Kommunikation sowie c) zwischenmenschlicher Kommunikation in und durch Apps mitgestalten. Drittens folgt ein Ausblick darauf, wie zukünftig CDS und kommunikationswissenschaftliche Studien stärker verzahnt werden können, um perspektivisch generative sozio-technische Systeme für kommunikationswissenschaftliche Forschung nutzbar zu machen.