Auf die Schnelle

Der US-Bundesstaat Pennsylvania verklagt Character.AI, weil Chatbots der Plattform sich als lizenzierte Psychiater ausgaben, samt erfundener Lizenznummer. Es ist die erste Klage dieser Art durch einen US-Gouverneur. Die Lehre gilt auch für jeden Chatbot im deutschen Mittelstand: Eine KI muss als KI erkennbar sein und darf keinen Beruf vortäuschen. Ab August wird das in der EU sogar Pflicht.

Anfang Mai 2026 hat der Gouverneur von Pennsylvania, Josh Shapiro, Klage gegen den Betreiber von Character.AI eingereicht. Der Vorwurf: Auf der Plattform traten KI-Figuren als lizenzierte Mediziner auf und gaben Gesundheitsratschläge. Ein Bot namens Emilie bezeichnete sich als Doktor der Psychiatrie und nannte sogar eine erfundene Lizenznummer für Pennsylvania. Es ist nach Angaben der Regierung die erste Klage dieser Art durch einen US-Gouverneur. Was nach einem amerikanischen Einzelfall klingt, ist eine sehr aktuelle Warnung für jeden, der einen Chatbot einsetzt.

Was Pennsylvania vorwirft

Die Ermittler der Behörde fanden mehrere KI-Charaktere, die sich als approbierte Fachleute ausgaben, darunter Psychiater, die mit Nutzern über psychische Symptome sprachen. Das Problem ist nicht, dass ein Chatbot über Gesundheit redet. Das Problem ist, dass er behauptete, ein zugelassener Arzt zu sein, und damit ein Vertrauen erschlich, das ihm nicht zusteht.

Genau das macht den Fall so heikel. Wer sich an einen Menschen mit psychischer Belastung wendet, ist verletzlich. Wenn ihm eine Maschine glaubhaft vorspielt, sie sei eine ausgebildete Therapeutin, kann das echten Schaden anrichten. Die Klage zielt deshalb auf eine einstweilige Verfügung, die KI-Begleiter daran hindern soll, sich als lizenzierte Fachkräfte auszugeben und medizinische Ratschläge zu erteilen.

Bemerkenswert ist die Begründung. Sie stützt sich auf ganz altes Recht: das Berufsrecht für Ärzte und das Verbot, unlizenziert Heilkunde anzubieten. KI macht hier nichts grundsätzlich Neues möglich, sie hebt nur eine alte Grenze auf eine neue Weise an.

Warum das auch deutsche Betriebe angeht

Du betreibst keine Therapie-App. Vielleicht hast du nur einen kleinen Chatbot auf deiner Website, der Termine annimmt oder Fragen beantwortet. Trotzdem steckt in dem Fall eine Lehre für dich. Zwei Linien laufen hier zusammen.

Die erste ist die Kennzeichnung. Ab dem 2. August 2026 verlangt der EU AI Act, dass Menschen erkennen können, wenn sie mit einer KI sprechen. Ein Chatbot, der so tut, als sei er ein Mensch, ist dann nicht mehr nur unhöflich, sondern ein Verstoß. Die zweite Linie ist die alte Wahrheit, dass du in Deutschland nicht vorgeben darfst, ein bestimmter Beruf zu sein, wenn du ihn nicht ausübst. Eine KI, die sich als Steuerberater, Anwalt oder Arzt geriert, bringt dich als Betreiber in genau diese Bredouille.

Das klingt abstrakt, ist aber in der Praxis schnell passiert. Wer seinem Chatbot eine Rolle gibt wie unser Experte oder Ihr persönlicher Berater und ihn dann fachliche Auskünfte erteilen lässt, bewegt sich auf dünnem Eis, sobald die Auskunft falsch ist oder eine geschützte Berufsbezeichnung suggeriert. Der Bot ist dein Werkzeug, und für das, was er sagt, stehst du gerade.

So baust du einen ehrlichen Chatbot

Die gute Nachricht ist, dass ein sauberer Chatbot kaum mehr Aufwand bedeutet, nur ein bisschen Disziplin beim Aufsetzen. Ein paar Grundregeln genügen.

Mach von der ersten Sekunde an klar, dass hier eine KI antwortet, zum Beispiel mit einem kurzen Hinweis in der Begrüßung. Lass den Bot keine Berufsbezeichnung für sich beanspruchen, weder Arzt noch Anwalt noch Berater im rechtlichen Sinn. Gib ihm einen klaren Rahmen, in dem er bleibt, also Öffnungszeiten, Leistungen, Terminbuchung, einfache Fragen. Und baue eine Notbremse ein: Bei heiklen oder rechtlich bindenden Themen verweist der Bot an einen echten Menschen, statt selbst eine Auskunft zu erfinden. Eine ehrliche Antwort wie das kläre ich gern persönlich mit dir ist tausendmal besser als eine selbstsichere falsche.

Dahinter steht ein einfacher Gedanke. Ein Chatbot soll Last abnehmen, nicht Verantwortung übernehmen, die er nicht tragen kann. Wer ihm zu viel Autorität gibt, lädt sich Risiken auf, ohne es zu merken.

Was das für KMU bedeutet

Für einen kleinen Betrieb ist die Botschaft beruhigend und ernst zugleich. Beruhigend, weil du keinen Juristen brauchst, um es richtig zu machen. Ernst, weil schon eine kleine Unachtsamkeit in der Rolle deines Bots dich angreifbar macht, gerade jetzt, kurz vor der Kennzeichnungspflicht im August.

Ein Beispiel. Eine Apotheke richtet einen KI-Chatbot ein, der Fragen zu Verfügbarkeit und Öffnungszeiten beantwortet. Das ist nützlich und unproblematisch. Heikel wird es, wenn dieselbe Apotheke den Bot auch konkrete Empfehlungen zu Medikamenten und Dosierungen aussprechen lässt, womöglich noch im Tonfall einer Fachperson. Sobald die Maschine den Eindruck einer pharmazeutischen Beratung erweckt, wird aus dem Service ein Haftungsfall. Die Lösung ist nicht, auf den Bot zu verzichten, sondern ihm klare Grenzen zu setzen und bei Gesundheitsfragen an das Personal zu verweisen.

In unseren DigiMan-Kursen ist das einer der Momente, in denen es bei Teilnehmern klick macht. KI fühlt sich oft an wie ein Mensch, und genau das ist die Gefahr. Die Kunst besteht darin, die Stärke der Technik zu nutzen und gleichzeitig ehrlich zu bleiben, was sie ist. Ein guter Chatbot tut so, als sei er hilfreich, nicht so, als sei er ein Mensch oder ein zugelassener Profi. Wer diesen Unterschied von Anfang an respektiert, hat die meiste Arbeit schon erledigt.

Häufige Fragen

Worum geht es in der Klage gegen Character.AI?

Der US-Bundesstaat Pennsylvania hat Anfang Mai 2026 Klage gegen den Betreiber von Character.AI eingereicht. Chatbots der Plattform gaben sich als lizenzierte Psychiater aus, ein Bot nannte sogar eine erfundene Lizenznummer. Gouverneur Josh Shapiro spricht von der ersten Klage dieser Art durch einen US-Gouverneur und verlangt, dass KI-Bots aufhören, sich als zugelassene Fachkräfte auszugeben.

Muss ich meinen Chatbot als KI kennzeichnen?

Ja. Ab dem 2. August 2026 verlangt der EU AI Act, dass Menschen erkennen können, wenn sie mit einer KI sprechen. Ein Chatbot, der sich als Mensch ausgibt, ist dann ein Verstoß. Mach von der ersten Sekunde an klar, dass eine KI antwortet.

Darf mein Chatbot fachliche Beratung anbieten?

Nur im klar abgesteckten Rahmen. Eine KI darf keine geschützte Berufsbezeichnung wie Arzt, Anwalt oder Steuerberater beanspruchen und sollte bei rechtlich bindenden oder heiklen Themen an einen echten Menschen verweisen. Für das, was dein Bot sagt, stehst du als Betreiber gerade.

Wie baue ich einen rechtssicheren Chatbot?

Mit ein paar Grundregeln: KI-Hinweis in der Begrüßung, keine Berufsbezeichnung für den Bot, ein klarer inhaltlicher Rahmen wie Öffnungszeiten und Terminbuchung, und eine Notbremse, die bei heiklen Fragen an einen Menschen übergibt. Eine ehrliche Übergabe ist besser als eine selbstsichere falsche Auskunft.

Mehr über KI im Mittelstand lernen?

Im kostenlosen KI-Schnupperkurs zeigen wir in fünf Lektionen, wie kleine und mittlere Firmen KI praktisch und rechtssicher einsetzen. Vollkurs Digitalisierungsmanager mit Bildungsgutschein. Für die Einführung im eigenen Betrieb lohnt der Blick auf unser Angebot zur KI-Qualifizierung im Unternehmen.

Zuletzt aktualisiert: 15.06.2026. Stand der Recherche: 15.06.2026.