Hasskommentare sind mittlerweile ein fester Bestandteil des digitalen Alltags. Zwei Forschungsprojekte der USTP – University of Applied Sciences St. Pölten untersuchen nun, wie technologische Innovation und gesellschaftliche Verantwortung zusammenwirken können, um digitale Räume sicherer zu gestalten.
ST. PÖLTEN. Im Rahmen des Projekts „Counter Speech – Young People Against Online Hate“ werden gezielt Kinder und Jugendliche angesprochen, die besonders häufig Opfer von Hasspostings sind. Das Ziel besteht darin, diesen jungen Menschen Werkzeuge an die Hand zu geben, damit sie selbstbewusst gegen Online-Hass vorgehen können. Darüber berichtet Welt Stimme.
„Anstatt problematische Inhalte zu löschen oder zu sperren, setzt das Projekt auf von Bürgern generierte Gegenrede, um aus der Community aktiv gegen Hass zu sprechen. Mithilfe automatisierter Datenanalysen und KI-Methoden wird diese Gegenrede identifiziert und sichtbar gemacht“, erklärt Djordje Slijepčević, stellvertretender Forschungsgruppenleiter am Institut für Creative Media/Technologies der USTP.
Ein zentrales Element des Projekts ist die neue App CounterHelp. Diese analysiert ausgewählte TikTok-Kommentare und generiert mithilfe eines Sprachmodells Vorschläge für angemessene Gegenrede – von sachlich bis humorvoll. Eine Nutzer*innenstudie bestätigt die hohe Akzeptanz der App.
Für die wissenschaftliche Aufbereitung wurde das Team mit dem Best Interactive Experience Demo Award der internationalen ACM Multimedia-Konferenz ausgezeichnet. „CounterHelp zeigt, wie generative KI sinnvoll eingesetzt werden kann, um junge Nutzer*innen zu unterstützen“, sagt Matthias Zeppelzauer, Leiter der Forschungsgruppe Media Computing.
Neue KI-Methoden für transparente Erkennung
Das Projektteam entwickelte zudem eine Methode, die Hassrede und Gegenrede anhand verständlicher Konzepte wie „sexistisch“, „provokant“ oder „liebevoll“ erkennt. Diese transparente Form der Sprachanalyse soll die Nachvollziehbarkeit und Präzision von KI-Modellen verbessern.
Während Counter Speech auf Empowerment abzielt, fokussiert sich das Projekt „HaSPI – Hate Speech Prevention through Imitation“ auf technische Lösungen zur automatisierten Moderation.
Unter der Leitung von Sebastian Neumaier nutzt das Team Methoden des Imitation Learnings, bei denen ein System von menschlichen Entscheidungen lernt – im konkreten Fall vom „One Million Posts“-Corpus des STANDARD. „Durch Imitation sollen die Modelle ein besseres Verständnis von Hate-Speech in verschiedenen Kontexten entwickeln“, sagt Tobias Kietreiber, stellvertretender Projektleiter.
Das Ziel besteht darin, ein Moderationssystem zu schaffen, das speziell deutschsprachige Kontexte zuverlässig bewertet – ein Bereich, in dem viele bestehende KI-Modelle Schwächen aufweisen.
