Diese Richtlinie beschreibt, welche Inhalte in naraa nicht erlaubt sind, wie wir Missbrauch verhindern, wie wir mit Krisensituationen umgehen und wie Sie Inhalte melden und gegen unsere Entscheidungen vorgehen können. Sie ergänzt die Nutzungsbedingungen der App.
1. Grundsätze
In naraa sehen andere Nutzerinnen und Nutzer weder Ihr Profil noch Ihre Chats. Inhalte entstehen in Gesprächen zwischen Ihnen und den KI-Personas. Unsere Sicherheitsmaßnahmen richten sich deshalb vor allem darauf, dass die KI keine schädlichen Inhalte erzeugt und dass Menschen in einer Krise schnell Hilfe finden.
2. Verbotene Inhalte
Nicht erlaubt sind insbesondere:
- pornografische Inhalte, Nacktdarstellungen und Beschreibungen expliziter sexueller Handlungen,
- jede Sexualisierung von Minderjährigen,
- nicht einvernehmliche Szenarien, sexuelle Gewalt und Ausbeutung,
- drastische Gewalt, Gewaltverherrlichung, Drohungen und Aufrufe zu Gewalt,
- Aufforderungen oder Anleitungen zu Suizid, Selbstverletzung oder Essstörungen,
- Hassrede und Diskriminierung wegen Herkunft, Religion, Geschlecht, sexueller Orientierung, Behinderung oder anderer geschützter Merkmale,
- Anleitungen zu Straftaten, etwa zur Herstellung von Waffen oder Drogen,
- intime, herabwürdigende oder täuschende Darstellungen realer Personen (Deepfakes),
- Versuche, Sicherheits- und Filtermechanismen zu umgehen, die App zu manipulieren oder Sicherheitslücken auszunutzen.
3. Automatische Moderation
Texteingaben werden automatisiert unter anderem mit der Moderationsschnittstelle von OpenAI geprüft, insbesondere um Inhalte mit Bezug zu Minderjährigen zu verhindern. Bei der Bilderstellung setzen wir die Inhaltsfilter des Bildanbieters xAI ein. Wer wiederholt (dreimal) versucht, sexuelle Bilder zu erstellen, kann die Bilderstellung für einige Stunden nicht nutzen. Gemeldete Inhalte prüft unser Team. Wir können nicht gewährleisten, dass jeder Missbrauch erkannt wird.
4. Krisenprotokoll
4.1 Erkennung
Das System prüft Gespräche automatisch auf Hinweise auf Suizidgedanken, Selbstverletzung oder eine akute Gefährdung. Die Erkennung beruht auf anerkannten Kategorien der Inhaltsmoderation und wird regelmäßig überprüft.
4.2 Was dann passiert
- Erkennt das System Hinweise auf Suizidgedanken oder eine akute Krise, antwortet die Persona auf diese Nachricht nicht.
- Die App zeigt die Krisen-Hotline des Landes an.
- Der Chat bleibt danach nutzbar.
- naraa ruft keine Kontakte an; ein Anruf erfolgt nur, wenn Sie selbst über Ihr Gerät anrufen.
- Wenn Sie lieber mit einer vertrauten Person als mit Fremden sprechen möchten, können Sie mit Ihrer Einwilligung direkt die Kontakte auf Ihrem Gerät öffnen. Die Kontakte werden nur auf Ihrem Gerät angezeigt und nicht an uns übertragen.
- Personas ermutigen niemals zu Selbstverletzung oder Suizid und geben keine Informationen über Methoden.
4.3 Hotlines
| Land | Krisen-Hotline |
|---|---|
| Deutschland | TelefonSeelsorge, 0800 111 0 111 oder 0800 111 0 222 |
| Österreich | TelefonSeelsorge, 142 |
| Schweiz | Die Dargebotene Hand, 143 |
| Frankreich | Numéro national de prévention du suicide, 3114 |
| Spanien | Línea 024 |
| Niederlande | 113 Zelfmoordpreventie, 0800-0113 oder 113, www.113.nl |
| Italien | Telefono Amico, 02 2327 2327; Samaritans Onlus, 06 77208977 |
| Brasilien | CVV – Centro de Valorização da Vida, 188, www.cvv.org.br |
| Portugal | SOS Voz Amiga, 213 544 545 |
| Türkei | Notruf 112 |
| USA | 988 Suicide & Crisis Lifeline, Anruf oder SMS an 988 |
Die App zeigt die Hotline des Landes an, in dem Sie die App nutzen. Für andere Länder blendet sie den örtlichen Notruf und einen Link zu findahelpline.com ein, einer weltweiten Übersicht kostenloser Krisendienste.
In einem akuten Notfall wählen Sie bitte sofort den Notruf (in der EU 112, in den USA 911).
4.4 Berichte
Soweit gesetzlich vorgeschrieben, berichten wir über die Zahl der Verweise auf Krisendienste, ohne personenbezogene Daten zu übermitteln, etwa ab dem 1. Juli 2027 jährlich an das Office of Suicide Prevention des Bundesstaats Kalifornien.
5. Inhalte melden
Sie können Personas, einzelne Nachrichten und Bilder direkt in der App melden oder uns per E-Mail an contact@naraa.ai schreiben, etwa bei unangemessenen Antworten, Sicherheitsbedenken oder vermutetem Missbrauch. Unser Team prüft die Meldungen. Personas können Sie außerdem blockieren oder stummschalten.
5.1 Meldung rechtswidriger Inhalte (Art. 16 DSA)
Jede Person kann uns Inhalte melden, die sie für rechtswidrig hält. Damit wir eine Meldung prüfen können, benötigen wir:
- eine hinreichend begründete Erklärung, warum der Inhalt rechtswidrig ist,
- die genaue Fundstelle, etwa einen Screenshot mit Datum und Persona oder die Inhaltskennung,
- Ihren Namen und Ihre E-Mail-Adresse, außer bei Meldungen zu sexuellem Missbrauch oder sexueller Ausbeutung von Kindern,
- die Bestätigung, dass Ihre Angaben nach bestem Wissen richtig und vollständig sind.
Wir bestätigen den Eingang unverzüglich, prüfen die Meldung zeitnah, sorgfältig und objektiv und teilen Ihnen unsere Entscheidung mit. Setzen wir dabei automatisierte Mittel ein, weisen wir darauf hin.
6. Maßnahmen bei Verstößen
Je nach Schwere und Wiederholung eines Verstoßes können wir:
- einzelne Inhalte blockieren oder entfernen,
- einen Hinweis oder eine Verwarnung aussprechen,
- Funktionen vorübergehend einschränken,
- das Konto vorübergehend sperren,
- das Konto bei schweren oder wiederholten Verstößen dauerhaft sperren und den Vertrag kündigen.
Wir berücksichtigen dabei die Umstände des Einzelfalls, die Schwere des Verstoßes und die berechtigten Interessen aller Beteiligten.
7. Begründung unserer Entscheidungen (Art. 17 DSA)
Schränken wir Ihr Konto oder Ihre Inhalte ein, informieren wir Sie spätestens mit Wirksamwerden der Maßnahme über:
- die Art und den Umfang der Maßnahme,
- die Tatsachen und Umstände, auf denen sie beruht,
- ob wir automatisierte Mittel eingesetzt haben,
- die Bestimmung unserer Nutzungsbedingungen oder das Gesetz, gegen das verstoßen wurde,
- Ihre Möglichkeiten, dagegen vorzugehen.
Eine Kontosperrung wird vor ihrer endgültigen Wirksamkeit von einem Menschen geprüft.
8. Beschwerde und weitere Rechtsbehelfe
Sie können innerhalb von sechs Monaten nach unserer Entscheidung per E-Mail an contact@naraa.ai Beschwerde einlegen, auch wenn wir eine Meldung von Ihnen abgelehnt haben. Beschwerden werden von qualifizierten Mitarbeitenden und nicht ausschließlich automatisiert geprüft. Ist Ihre Beschwerde berechtigt, heben wir unsere Entscheidung unverzüglich auf. Unabhängig davon steht Ihnen der Rechtsweg offen.
9. Menschliche Prüfung und Zugriff auf Inhalte
Mitarbeitende sehen Inhalte nur, wenn dies im Einzelfall erforderlich ist, etwa zur Prüfung einer Meldung, einer Beschwerde oder einer Sperrung. Der Zugriff ist auf wenige berechtigte Personen beschränkt und wird protokolliert.
10. Missbrauch des Meldesystems
Wer wiederholt offensichtlich unbegründete Meldungen oder Beschwerden einreicht, dessen Meldungen können wir nach vorheriger Warnung für einen angemessenen Zeitraum nicht mehr bearbeiten.
11. Zusammenarbeit mit Behörden
Erhalten wir Kenntnis von Informationen, die den Verdacht einer Straftat begründen, die eine Gefahr für das Leben oder die Sicherheit einer Person darstellt, informieren wir die zuständigen Strafverfolgungsbehörden (Art. 18 DSA). Auskünfte an Behörden erteilen wir nur auf gesetzlicher Grundlage.
12. Kontakt
Meldungen, Beschwerden und Fragen zur Sicherheit: contact@naraa.ai. Wir kommunizieren auf Deutsch und Englisch.