Digitale Soforthilfe bei problematischen Inhalten, Förderung der Selbstwirksamkeit von jungen Nutzer:innen, und institutionelle Vernetzung für eine sichere Online-Schweiz
Kinder und Jugendliche stossen immer häufiger auf problematische Inhalte wie hate speech, Falschinformationen oder extreme Inhalte in sozialen Medien. Bestehende Schutzmassnahmen zielen oft auf Prävention ab - jedoch fehlt es an direkter Unterstützung für Kinder und Lehrpersonen nach akuter Konfrontation mit solchen Inhalten.
Wir entwickeln mit "Flag&Safe" eine kindgerechte Plattform, auf der junge Nutzer:innen bedenkliche Online-Inhalte einfach und sicher melden können. Die Plattform führt eine automatische Vorprüfung durch und leitet dringende Fälle an ein Netzwerk von Fachpersonen (z.B. Schulpsycholog:innen, Beratungsstellen) weiter. Dabei bleiben Daten und Metadaten der Inhalte erhalten, was diese Fachpersonen befähigt, schnell und unkompliziert einzugreifen.
Mehr zur Vision
In jüngster Zeit häufen sich Berichte über radikalisierende Inhalte in sozialen Medien – auch in der Schweiz sorgen Schlagzeilen wie „Radikalisierung im Internet: Mit TikTok zum IS-Fanatiker" für Aufmerksamkeit. Gleichzeitig berichten immer mehr junge Nutzer:innen, dass sie in ihren Social-Media-Feeds auf unerwünschte sexuelle, irreführende und hasserfüllte Inhalte stossen.
Mit dem Inkrafttreten des Digital Services Act in der Europäischen Union werden strengere Regeln für soziale Medien eingeführt, insbesondere um Kinder besser zu schützen. Ein zentraler Aspekt solcher Massnahmen sind sogenannte "Trusted Flagger". Diese Akteure identifizieren problematische Inhalte, melden sie und entfernen sie von Social-Media Plattformen. Jedoch existiert in der Schweiz keine entsprechende Meldestelle. Dieses Problem versuchen wir, mit dem Flag&Safe Projekt zu lösen.
Schritt A: Kinder und Jugendliche melden Inhalte
Wenn Kinder oder Jugendliche in sozialen Medien auf problematische Inhalte stossen (z.B. extreme, radikale, hasserfüllte oder sexuelle Inhalte), können sie diese über die Flag&Safe Plattform melden. Hierfür schicken sie einen link zum Inhalt oder nutzen einen integrierten Chatbot.
Schritt B: Inhalte werden gesammelt und geprüft
Sobald ein potenziell problematischer Inhalt gemeldet wird, sammelt unser System diesen automatisch und speichert ihn sicher ab. Spezielle Computerprogramme schauen sich den Inhalt unter Zuhilfenahme von künstlicher Intelligenz an und prüfen, ob er gegen Regeln verstößt oder sogar illegal sein könnte. Dabei werden auch bekannte Listen mit verbotenen Inhalten abgeglichen.
Schritt C: Automatische Meldung an Plattformen und Behörden
Wenn ein Inhalt gegen die Regeln der sozialen Medien oder gegen Gesetze verstößt, meldet unser System ihn automatisch direkt an die Betreiber der Social-Media-Plattform (z.B. TikTok, Instagram). Wenn der Inhalt klar illegal ist, könnte der Inhalt sogar vollautomatisch an die zuständigen Polizeibehörden gemeldet werden.
Schritt D: Schnelle Hilfe für Betroffene
Gleichzeitig informiert das System auch lokale Hilfsstellen, wie Schulpsychologen oder Medienpädagogen. Diese Fachleute erhalten dann die wichtigsten Informationen über den gemeldeten Inhalt und können dem betroffenen Kind schnell helfen, zum Beispiel durch ein Beratungsgespräch.
Schritt E: System lernt dazu und wird besser
Alle gemeldeten Inhalte werden gesammelt und helfen dabei, unser System immer weiter zu verbessern. Die künstliche Intelligenz lernt aus neuen Fällen unter Wahrung der Anonymität der beteiligten Personen und kann so problematische Inhalte in Zukunft noch schneller und genauer erkennen. Wir können ausserdem so auch besser verstehen, welche potenziell gefährlichen Trends sich gerade online entwickeln.
Schritt F: Infos für die Politik
Unsere gesammelten Erkenntnisse geben wir auch an die Politik weiter. So können Politikerinnen und Politiker besser verstehen, welchen Gefahren Kinder und Jugendliche online ausgesetzt sind und neue Gesetze entwickeln, um sie besser zu schützen.
- ✅ Trusted Flagger Plattform: Eine Open-Source Softwarelösung, mit der Kinder und Jugendliche problematische Inhalte einfach melden können.
- ✅ Workshops: Workshops für Schulen und Beratungsstellen, um Bedürfnisse zu verstehen und den Umgang mit der Plattform zu schulen.
- ✅ Usability-Studie: Tests mit Kindern und Jugendlichen zur Evaluierung und Verbesserung der Plattform.
- ✅ Wissenschaftliche Veröffentlichungen: Publikationen zu technischen Entwicklungen und Ergebnissen.
Unser Angebot richtet sich speziell an Kinder und Jugendliche in der Schweiz, die auf Social-Media-Plattformen aktiv sind.
Ein interdisziplinäres Team aus Informatik, Rechtswissenschaft und Medienpädagogik:
Universität St.Gallen
Institut für Informatik 
Doktorand Luka Bekavac
Prof. Simon Mayer
|
Universität Lausanne
Rechtswissenschaftliche Abteilung 
Doktorand Alice Palmieri
Prof. Aurelia Tamò-Larrieux
|
Primarschule Halden
St.Gallen 
Benjamin LizingerMedienpädagoge |
Universität Maastricht
Law&Tech Lab 
Prof. Konrad Kollnig(Unterstützende Funktion) |
Projektstart: 01.04.2025
Projektende: 30.04.2026
Die Universität St.Gallen sichert den Betrieb der Plattform für 5 Jahre nach Projektende zu. Die Open-Source-Lösung ermöglicht zudem die Weiterentwicklung und den Betrieb der Plattform durch Dritte.
Dieses Projekt wird als Open-Source-Lösung entwickelt und bereitgestellt.
© 2025 Flag&Safe Projekt
Ein Projekt mit Unterstützung der
