Wie funktioniert die Richtlinienentwicklung bei YouTube?

Wir haben auf YouTube schon immer Community-Richtlinien, die festlegen, was auf unserer Plattform erlaubt ist. Diese Richtlinien ermöglichen es den Creatorn, ihrer Kreativität freien Lauf zu lassen. Im Vordergrund stand aber dabei schon immer der Schutz der gesamten YouTube-Community vor schädlichen Inhalten. Dabei ist ein ausgewogenes Verhältnis wichtig, damit neue Stimmen auf der Plattform Gehör finden können und jeder seine Ideen und Meinungen teilen kann. Außerdem müssen wir auch für den langfristigen Erfolg von YouTube als Unternehmen sorgen, schließlich wollen unsere Werbepartner grundsätzlich nicht mit schädlichen Inhalten in Verbindung gebracht werden.

Regelmäßig erreichen uns Fragen dazu, wie wir Verstöße definieren oder warum es so lange dauern kann, bis wir neue Richtlinien entwickelt haben und diese einführen. Hier findet ihr einen umfassenderen Überblick über die Maßnahmen, die wir umsetzen, um unserer Verantwortung gerecht zu werden. In diesem Blogpost erklären wir genauer, wie wir unsere Richtlinien entwickeln und welche Prozesse erforderlich sind, um sie durchzusetzen.

Wie entscheiden wir, welche Richtlinien aktualisiert werden müssen?

Die Welt verändert sich rasend schnell und unsere Richtlinien müssen mit dieser Entwicklung mithalten können. Aus diesem Grund überprüfen wir sie regelmäßig, damit sie – ähnlich wie die Gesetze, die für unsere Gesellschaft gelten – die Veränderungen widerspiegeln, die sowohl auf als auch abseits unserer Plattform stattfinden. Damit keine Missverständnisse aufkommen: Der Großteil der Inhalte auf YouTube verstößt nicht gegen unsere Richtlinien. Trotzdem müssen wir prüfen, ob sich Lücken aufgetan haben, und auf neue Risiken achten, die unsere Richtlinien möglicherweise auf die Probe stellen.

Wir passen unsere Richtlinien regelmäßig an die aktuellen Gegebenheiten an und verlieren dabei unser Hauptziel nicht aus den Augen: ernsthafte Risiken für reale Schäden zu verhindern. Das heißt nicht, dass wir sämtliche anstößigen Inhalte von YouTube entfernen. Wir sind generell der Meinung, dass ein offener Diskurs und freie Meinungsäußerung die Gesellschaft voranbringen. Aber wir sind sorgfältig darauf bedacht, die Grenze bei Inhalten zu ziehen, die unseren Nutzern oder der Plattform erheblichen Schaden zufügen könnten.

Dazu gehören auch Inhalte, die materielle Schäden verursachen können. Als Behauptungen, COVID-19 würde über die 5G-Technologie verbreitet, zu Schäden an Mobilfunkmasten im ganzen Vereinigten Königreich führten, haben wir schnell reagiert und solche Behauptungen im Rahmen unserer Richtlinien als unzulässig eingestuft. Auch Inhalte, die den demokratischen Institutionen erheblichen Schaden zufügen können, zählen dazu. Wir lassen deshalb keine Behauptungen zu, die darauf abzielen, Menschen im Hinblick auf Wahlen in die Irre zu führen. Dazu gehört auch die Verbreitung von Falschinformationen über Wahlzeiten und Wahllokale sowie über Voraussetzungen zur Teilnahme an einer Wahl.

Wir arbeiten außerdem eng mit Nichtregierungsorganisationen, Wissenschaftlern und relevanten Experten aus allen Interessensgruppen und verschiedenen Ländern zusammen, um bei der Richtlinienüberprüfung fundierte Entscheidungen treffen zu können. Sie weisen auf neue Probleme hin oder beleuchten mit ihrem Fachwissen komplexe Themen, bei denen es regelmäßig neue Erkenntnisse gibt. So haben wir etwa zu Beginn der Coronakrise zusammen mit Gesundheitsbehörden wie dem Center for Disease Control und der Weltgesundheitsorganisation eine Richtlinie zu medizinischen Fehlinformationen über COVID-19 entwickelt. Als die Vorgaben zum Tragen von Masken und Social Distancing später gelockert wurden, haben wir wiederum unsere Richtlinien für Inhalte, die die Wirksamkeit von Masken und Social Distancing anzweifelten, entsprechend angepasst.

Wie entscheiden wir, wo wir die Grenze ziehen?

Sobald wir festgelegt haben, in welchem Bereich die Richtlinie aktualisiert werden soll, kommt unser Trust & Safety-Team ins Spiel und entwickelt eine maßgeschneiderte Lösung. Zuerst prüfen wir einige Punkte: Wie verbreitet ist diese spezielle Art von schädlichen Inhalten auf YouTube und wie stark wird sie sich möglicherweise ausbreiten? Wie ist dies in den aktuellen Community-Richtlinien geregelt?

Anschließend sehen wir uns Dutzende oder sogar Hunderte von Videos an, damit wir die Auswirkungen von verschiedenen Richtliniendetails abschätzen können. Beim Festlegen neuer Richtlinien geht es niemals nur um ein einzelnes Video. Es müssenalle Videos in Betracht gezogen werden, die im Rahmen der neuen Richtlinie möglicherweise gelöscht werden oder beibehalten werden könnten. Nach dieser umfangreichen Überprüfung stellt das Team verschiedene Optionen für die Richtlinienänderungen vor. Es werden Beispiele von Videos gezeigt, die entfernt oder genehmigt werden könnten, sowie verschiedene Maßnahmen miteinander verglichen, wie Entfernung oder Altersbeschränkung.

Aus diesen Entwürfen werden die besten Optionen ausgewählt, über die dann in weiteren Bewertungsrunden entschieden wird. In dieser Phase wollen wir herausfinden, ob mit dem gewählten Ansatz einige wichtige Ziele wirksam umgesetzt werden können:

• Eindämmung der Risiken für erhebliche reale Schäden, während zugleich der Anspruch auf freie Meinungsäußerung berücksichtigt wird.
• Einheitliche Umsetzung durch Tausende von Inhaltsmoderatoren auf der ganzen Welt

Wenn wir uns davon überzeugt haben, dass sich unsere Ziele umsetzen lassen, wird der Vorschlag von einer Arbeitsgruppe geprüft, die sich aus Führungskräften des gesamten Unternehmens zusammensetzt. Die abschließende Freigabe erfolgt durch die höchsten Führungsebene, darunter der Chief Product Officer und die CEO von YouTube. Wenn es zu irgendeinem Zeitpunkt zu Unstimmigkeiten zwischen den Teams bezüglich der Auslegung einer Richtlinie kommt, wird die Richtlinie wieder auf den Prüfstand gestellt.

Wer trägt zur Entwicklung und Durchsetzung der Richtlinien bei?

Während des gesamten Ausarbeitungsprozesses arbeiten wir eng mit einer Reihe anerkannter externer Experten zu Themen wie Hassrede oder Belästigung zusammen. Darüber hinaus konsultieren wir verschiedene Regierungsbehörden zu anderen wichtigen Themen, wie gewalttätigem Extremismus oder Kinder- und Jugendschutz.

Die Experten helfen uns bei der Prognose, wie sich durch globale Ereignisse schädliche Inhalte auf unserer Plattform verbreiten könnten. Dazu gehören auch die Identifizierung von Lücken in unseren Systemen, die von böswilligen Akteuren ausgenutzt werden könnten, sowie Empfehlungen für neue Updates. Wie auch in der Coronakrise tragen sie dazu bei, dass wir unsere Richtlinien in entsprechenden Situationen schnell ändern können.

Diese Zusammenarbeit ist auch besonders wichtig, weil für die Durchsetzung der Richtlinien bei regionalen Angelegenheiten oft sprachliches oder kulturelles Wissen erforderlich ist, um Inhalte richtig einordnen zu können. So haben wir zum Beispiel während des Putsches in Myanmar im Jahr 2021 eng mit Experten zusammengearbeitet, um Fälle zu ermitteln, in denen Einzelpersonen mit ihren Äußerungen zu Hass und Gewalt aufgrund ethnisch-religiöser Zugehörigkeit aufgestachelt haben. Auf diese Weise konnten wir die fraglichen Inhalte schnell von unserer Plattform entfernen.

Versuchen wir, neu auftretenden Problemen zuvorzukommen?

Viele denken, dass ein Inhaltsmoderator nur reagiert, also Inhalte nur dann entfernt, wenn sie von unseren Systemen oder Mitarbeitern gemeldet werden. In Wirklichkeit aber konzentrieren wir uns bei unserer Arbeit größtenteils auf die Zukunft. Wir haben einen langen Prozess entwickelt, der es unseren Teams ermöglicht, neu auftretende Probleme zu erkennen, bevor sie auf unserer Plattform thematisiert werden oder sich ausbreiten.

Diese wertvollen Einblicke werden von unserem Intelligence Desk, einem Team innerhalb der Trust & Safety-Organisation von YouTube, gewährleistet. Die Analysten, die sich aus ehemaligen Nachrichtendienstmitgliedern zusammensetzen, identifizieren potenziell gefährliche Trends und die Risiken, die sie darstellen – seien es neue Kanäle für Falschinformationen oder Gefahren im Internet. Sie beobachten auch laufend Bedrohungen wie extremistische Verschwörungstheorien, erfassen deren Verbreitungsgrad in den Medien und analysieren, wie sie sich im Laufe der Zeit verändern.

Diese Erkenntnisse beziehen wir dann in unsere Überlegungen ein, wie die aktuelle oder zukünftige Richtlinie diese neuen Bedrohungen in den Griff bekommen könnte. So haben wir beispielsweise anhand der vom Intelligence Desk gesammelten Informationen unsere Richtlinien zu Hass und Belästigung aktualisiert, mit dem Ziel schädliche Verschwörungstheorien auf unserer Plattform besser bekämpfen zu können.

Wie stellen wir sicher, dass unsere Richtlinien konsequent durchgesetzt werden?

Die Einführung einer neuen Richtlinie ist eine gemeinsame Leistung von Menschen und Technologien für maschinelles Lernen. In der Praxis bedeutet dies, dass Mensch und Maschine gemeinsam für eine erfolgreiche Einführung und Durchsetzung einer Richtlinie sorgen müssen, wenn eine gleichbleibend hohe Genauigkeit bei der Überprüfung von Inhalten erreicht werden soll.

Zuerst geben wir unserem erfahrensten Team von Inhaltsmoderatoren Richtlinien zur Durchsetzung, die eine detaillierte Erklärung enthalten, was einen Inhalt zu einem Verstoß macht. Dann bitten wir sie, zwischen Inhalten, die gegen die Richtlinien verstoßen, und richtlinienkonformen Inhalten zu unterscheiden. Wenn sie mithilfe der neuen Richtlinien eine sehr hohe Trefferquote erzielen, erweitern wir die Testgruppe auf Hunderte von Moderatoren, die einen unterschiedlichen Hintergrund haben, andere Sprachen sprechen und sich auf unterschiedlichem Erfahrungsniveau befinden.

An dieser Stelle werden die Richtlinien überarbeitet, sodass sie auch von einem größeren und vielfältigeren Kreis von Moderatoren richtig interpretiert werden können. Dieser Prozess kann ein paar Monate dauern. Er ist erst dann abgeschlossen, wenn die Gruppe ein ähnlich hohes Maß an Genauigkeit erzielt. Anhand der daraus resultierenden Erkenntnisse trainieren wir unsere Technologien für maschinelles Lernen, um potenzielle Verstöße in großem Umfang erkennen zu können. Wie auch bei unseren Inhaltsmoderatoren testen wir verschiedene Modelle, um festzustellen, ob der verfügbare Kontext eine präzise Einschätzung ermöglicht, was manuell überprüft werden sollte und was nicht.

Erst nach dieser Testphase wird die neue Richtlinie veröffentlicht. Die Optimierungsarbeiten dauern aber auch in den Folgemonaten an. Jede Woche treffen sich die Führungskräfte unseres Trust & Safety-Teams mit den Verantwortlichen für die Qualitätssicherung aus aller Welt (die für die Betreuung der Teams von Inhaltsmoderatoren zuständig sind), um besonders knifflige Entscheidungen zu besprechen und die Qualität der Durchsetzungsmaßnahmen zu überprüfen. Gegebenenfalls werden die Richtlinien angepasst, um Lücken zu schließen oder für mehr Klarheit bei Sonderfällen zu sorgen.

Wie arbeiten Mensch und Maschine bei der Durchsetzung der Richtlinien zusammen?

Sobald die Modelle darauf trainiert sind, potenzielle Verstöße zu erkennen, kommen die Inhaltsmoderatoren ins Spiel und übernehmen während des gesamten Durchsetzungsprozesses eine wichtige Rolle. Die Technologien für maschinelles Lernen stellen richtlinienwidrige Inhalte in großem Umfang fest und ermitteln Inhalte, die möglicherweise gegen unsere Community-Richtlinien verstoßen und überprüft werden sollten. Die Inhaltsmoderatoren entscheiden dann, ob die betreffenden Inhalte tatsächlich entfernt werden müssen.

Dieser auf Kooperation basierende Ansatz führt dazu, dass sich die Genauigkeit der Modelle im Laufe der Zeit verbessert, denn sie können anhand des Feedbacks der Inhaltsmoderatoren kontinuierlich lernen und sich anpassen. Unsere Durchsetzungssysteme bewältigen die riesige Menge an Inhalten, die auf YouTube hochgeladen werden – über 500 Stunden pro Minute –, während unsere Moderatoren die Feinheiten berücksichtigen, die darüber entscheiden, ob ein Inhalt gegen unsere Richtlinien verstößt oder nicht.

Eine Rede von Hitler auf dem Nürnberger Reichsparteitag würde beispielsweise ohne zusätzlichen Kontext gegen unsere Richtlinien zu Hassrede verstoßen. Dieselbe Rede aber innerhalb einer Dokumentation, in der die Taten der Nazis angeprangert werden, wäre im Rahmen unserer Richtlinien zu Inhalten mit pädagogischem, dokumentarischem, wissenschaftlichem oder künstlerischem Zweck wahrscheinlich erlaubt. Unter diese Richtlinien fallen Inhalte, in denen genügend Kontext für ansonsten richtlinienwidriges Material enthalten ist, wie etwa ein Lehrvideo oder eine historische Dokumentation.

Für ein Modell ist diese Unterscheidung möglicherweise schwierig. Einem Inhaltsmoderator hingegen fällt es leicht, den zusätzlichen Kontext zu erkennen. Dies ist ein Grund, warum die Verantwortung zur Durchsetzung der Richtlinien im Wesentlichen geteilt wird, und es unterstreicht auch, warum das menschliche Urteilsvermögen immer ein wichtiger Teil unseres Prozesses sein wird. In den meisten Kategorien meldet das Modell potenziell richtlinienwidrige Inhalte auf YouTube, damit sie durch einen Inhaltsmoderator überprüft werden können, bevor Maßnahmen ergriffen werden.

Wie messen wir Erfolg?

Über allen unseren Bemühungen steht immer das Ziel, den Community-Richtlinien gerecht zu werden und neuen Stimmen und Communities auf YouTube eine offene Plattform zu bieten. Erfolg lässt sich an dieser Stelle nur schwer an einem einzelnen Messwert festmachen. Wir haben aber immer ein offenes Ohr für die Verbesserungsvorschläge unserer Stakeholder und der Mitglieder unserer Community. Außerdem bemühen wir uns kontinuierlich um mehr Transparenz hinsichtlich unserer Systeme und Prozesse – wie auch in diesem Blog.

Die Effektivität der Durchsetzungsmaßnahmen bewerten wir anhand eines Messwerts, den wir veröffentlichen: der sogenannten Violative View Rate (VVR). Diese zeigt an, wie viele Aufrufe auf YouTube auf richtlinienwidriges Material zurückzuführen sind. Von Juli bis September 2022 lag die Zahl bei 0,10–0,11 %. Das heißt, dass bei 10.000 Aufrufen 10 bzw. 11 Inhalte dabei waren, die gegen unsere Community-Richtlinien verstoßen.

Außerdem ermitteln wir die Genauigkeit unserer Systeme, indem wir die Anzahl der Beschwerden erfassen, die von Creatorn als Reaktion auf entfernte Videos eingereicht werden. Die Möglichkeit, Beschwerde einzulegen, kann von allen Creatorn auf YouTube genutzt werden. Wir haben zum Beispiel im oben genannten Zeitraum 5,6 Mio. Videos wegen Verstößen gegen unsere Community-Richtlinien entfernt und etwa 271.000 Einsprüche gegen die Entfernung erhalten. Nach einer manuellen Überprüfung haben wir 29.000 dieser Videos wieder auf der Plattform reaktiviert.

Und auch wenn Messwerte wie Beschwerden, Reaktivierungen und unsere VVR die Einheitlichkeit und Genauigkeit unserer Systeme nicht perfekt widerspiegeln, sind sie trotzdem für das kontinuierliche Benchmarking unseres Erfolgs wichtig.

Die Community-Richtlinien befassen sich mit Sprache und Ausdruck – zwei Dinge, die sich im Laufe der Zeit naturgemäß verändern. Angesichts der sich ändernden Gegebenheiten überprüfen wir unsere Richtlinien regelmäßig, um sicherzustellen, dass sie noch zeitgemäß sind. Damit unsere Community immer auf dem Laufenden bleibt, informieren wir euch auch in Zukunft über alle Änderungen.