Wie viele mit Künstlicher Intelligenz (KI) erzeugte Profilbilder es in dem Sozialen Netzwerk Twitter (mittlerweile X genannt) gibt, haben Bochumer Forschende mit Kollegen aus Köln und Saarbrücken untersucht. Sie analysierten fast 15 Millionen Accounts und fanden heraus, dass 0,052 Prozent davon ein KI-generiertes Personenbild als Avatar besaßen. „Das klingt im ersten Moment nicht viel, aber solche Bilder sind merklich präsent auf Twitter“, sagt Erstautor Jonas Ricker, Research Assistant für Machine Learning am Horst-Görtz-Institut für IT-Sicherheit, Fakultät für Informatik der Ruhr-Universität Bochum. „Unsere Analysen geben zudem Hinweise darauf, dass es sich bei vielen der Accounts um Fakeprofile handelt, die unter anderem politische Propaganda oder Verschwörungstheorien verbreiten.“ Das Team stellte die Arbeit am 1. Oktober 2024 in Padua auf dem 27th International Symposium on Research in Attacks, Intrusions and Defenses (RAID) vor.
Die Forschenden der Ruhr-Universität Bochum kooperierten für die Arbeit mit Kollegen des Helmholtz-Zentrums für Informationssicherheit CISPA in Saarbrücken und des Leibniz-Instituts für Sozialwissenschaften GESIS in Köln. Die Arbeiten fanden im Rahmen des Exzellenzclusters Cybersecurity in the Age of Large-Scale Adversaries, kurz CASA, statt.
Tausende von Accounts mit Fake-Profilbildern
„Mithilfe von KI kann man heutzutage täuschend echt aussehende Bilder erzeugen, die in den Sozialen Medien dafür missbraucht werden können, um scheinbar reale Accounts zu erstellen“, erklärt Jonas Ricker. Wie verbreitet solche KI-generierten Profilbilder sind, ist bislang kaum untersucht. Die Forschenden trainierten eine Künstliche Intelligenz darauf, reale von KI-generierten Bildern unterscheiden zu können. Mit diesem Modell analysierten sie automatisiert die Profilbilder von rund 15 Millionen Twitter-Accounts. Die Daten dafür stammten aus März 2023. Alle Accounts, die kein Porträtbild als Avatar nutzten, schlossen die Forschenden aus ihrem Datensatz aus. Etwa 43 Prozent aller Accounts verblieben in der Analyse. 7.723 davon klassifizierte das Modell als KI-generiert. Die Ergebnisse überprüften die Forschenden stichprobenartig auch manuell.
Im nächsten Schritt schaute sich das Team an, wie sich Accounts mit KI-generierten Bildern im Vergleich zu Accounts mit realen Personenbildern auf der Plattform verhielten. Fake-Bild-Accounts hatten im Durchschnitt weniger Follower*innen und folgten auch selbst weniger anderen Accounts. „Auffällig war auch, dass über die Hälfte der Fake-Bild-Accounts erst 2023 erstellt worden ist, teils wurden hunderte Accounts in einigen Stunden aufgesetzt – ein Hinweis, dass es sich nicht um echte Nutzerinnen oder Nutzer handelt“, folgert Jonas Ricker. Neun Monate nach der ersten Datensammlung schauten die Forschenden, ob die Fake-Bild-Accounts und eine gleiche Anzahl von Echt-Bild-Accounts noch aktiv waren und stellten fest, dass über die Hälfte der Fake-Bild-Accounts zu diesem Zeitpunkt von Twitter gesperrt worden war. „Ein weiteres Indiz, dass es sich um Accounts handelt, die unlauter agiert haben“, so Ricker.
Desinformation und politische Propaganda
Die Wissenschaftlerinnen und Wissenschaftler untersuchten darüber hinaus die Inhalte, mit denen die Fake-Bild-Accounts auf Twitter in Erscheinung traten. Dabei zeigten sich einige wiederkehrende Themen, etwa Politik – häufig mit Trump-Bezug –, Covid-19 und Impfungen, der Ukraine-Krieg, Verlosungen oder Finanzen inklusive Kryptowährungen. „Wir können nur mutmaßen, was dahintersteckt“, sagt Jonas Ricker. „Aber es ist davon auszugehen, dass einige Accounts erstellt wurden, um gezielt Desinformationen oder politische Propaganda zu verbreiten.“
In Zukunft will das Team weiter an der automatisierten Erkennung von Fake-Bildern arbeiten, auch von solchen, die mit neueren KI-Modellen erzeugt werden. In der vorliegenden Studie beschränkten sich die Wissenschaftlerinnen und Wissenschaftler auf das Modell „StyleGAN 2“, das der Webseite thispersondoesnotexist.com zugrunde liegt. Mit dieser können unechte Personenbilder mit einem Klick generiert werden. „Wir nehmen an, dass diese Seite oft für das Erzeugen von KI-generierten Profilbildern genutzt wird“, so Ricker. „Denn solche KI-generierten Bilder sind schlechter zurückzuverfolgen, als wenn sich jemand an einem echten Bild einer fremden Person für sein Profil bedient.“
Förderung
Die Arbeiten wurden unterstützt von der Deutschen Forschungsgemeinschaft im Rahmen der Exzellenzstrategie (EXC 2092 CASA – 390781972), vom Bundesministerium für Bildung und Forschung im Rahmen des Grants UbiTrans (16KIS1900), von der Leibniz Association Competition (P101/2020) sowie vom Deutschen Akademischen Austauschdienst.
Originalveröffentlichung
Jonas Ricker, Dennis Assenmacher, Thorsten Holz, Asja Fischer, Erwin Quiring: AI-Generated Faces in the Real World: A Large-Scale Case Study of Twitter Profile Images, 27th International Symposium on Research in Attacks, Intrusions and Defenses (RAID), Padua, Italy, 2024
Pressekontakt
Jonas Ricker
Lehrstuhl für Maschinelles Lernen
Fakultät für Informatik
Ruhr-Universität Bochum
Tel.: +49 234 32 22797
E-Mail: jonas.ricker(at)ruhr-uni-bochum.de
Allgemeiner Hinweis: Mit einer möglichen Nennung von geschlechtszuweisenden Attributen implizieren wir alle, die sich diesem Geschlecht zugehörig fühlen, unabhängig vom biologischen Geschlecht.
