Alle Arbeiten
Oronts-Produkte2024Laufend

OGuardAI

Semantische Datenschutz-Runtime für KI-Systeme. Policy-Engine, PII-Erkennung und reversible Tokenisierung zwischen Anwendung und beliebigem LLM.

Auf einen Blick

99.7%
PII-Erkennungsrate auf unserem Testkorpus
<50ms
Latenzziel für blockierte Inhalte
3
Validierungsschichten: Policy, PII, Tokenisierung
0
Roh-PII-Werte am Modell nach Tokenisierung

Die Herausforderung

Produktive LLM-Systeme teilen eine Fehlerklasse: PII gelangt in Prompts und Ausgaben, halluzinierte Daten erreichen Kunden, generierte Texte verletzen Kommunikationsrichtlinien. Ad-hoc-Filter lösen einen Vorfall und brechen am nächsten Edge Case. Die DSGVO macht daraus ein Architekturproblem, kein Patching-Problem.

Unser Ansatz

OGuardAI läuft als synchroner Filter im Request- und Response-Pfad des LLM. Drei Validierungsschichten: Content-Policy-Klassifikation gegen hot-reloadbare YAML-Regelwerke, PII-Erkennung aus Pattern-Matching plus Named Entity Recognition, und semantische Tokenisierung, die sensible Werte durch reversible Tokens ersetzt, sodass das Modell nie Rohdaten sieht. Die Wiederherstellung erfolgt pro Ausgabekanal-Policy.

Systemarchitektur

Diagramm wird geladen...

Systemarchitektur: LLM Response, OGuardAI, Policy Check, Pass, Deliver to User, Violation, Content Classifier, PII Found?, Yes, Redact / Tokenize, No, Block + Reason, Upstream Retry

Engineering-Entscheidungen

Ein synchroner Filter im Request- und Response-Pfad

Guardrails wirken nur, wenn sie laufen, bevor das Modell Daten sieht und bevor die Ausgabe den Nutzer erreicht. OGuardAI sitzt inline statt als nachträgliches Audit und akzeptiert eine kleine, begrenzte Latenz für eine Durchsetzung, die nicht übersprungen werden kann.

Reversible Tokenisierung statt grober Schwärzung

Schwärzung zerstört den Kontext, den ein Modell für gute Antworten braucht. OGuardAI ersetzt sensible Werte durch strukturerhaltende Tokens, sodass das Modell über kohärenten Text arbeitet und nie Rohdaten sieht. Die Wiederherstellung erfolgt je Ausgabekanal-Policy, was den Token-Speicher zum zu sichernden Asset macht.

Hot-reloadbare YAML-Policies

Kommunikations- und Datenregeln ändern sich schneller als Release-Zyklen. Policies sind YAML, das ohne Neustart neu lädt, sodass der Betrieb Regeln live verschärfen oder lockern kann statt auf ein Deployment zu warten.

Mustererkennung und NER zusammen

Reguläre Ausdrücke erkennen bekannte Formate; Named-Entity-Recognition erkennt kontextbezogene PII, die ein Muster verfehlt. Beides zusammen erhöht den Recall, statt auf eine Technik zu setzen.

Technologie

Backend
PythonFastAPIPydantic
Infrastruktur
DockerGitHub Actions
KI / ML
Semantic TokenizationNERPolicy Engine

Kernergebnisse

  • DSGVO-bewusste KI-Architektur per Design, nicht per Patch
  • Hot-reloadbare YAML-Policies ohne Neustarts oder Deployments
  • Reversible Tokenisierung erhält LLM-Qualität und schützt Daten
  • Das Muster ist öffentlich in unseren Engineering-Guides dokumentiert

Das Ergebnis

Eine wiederverwendbare, framework-agnostische Guardrail-Schicht, die DSGVO-bewusste KI von projektweisem Feuerlöschen zu Infrastruktur macht. Proprietäres Oronts-Produkt; die Architektur ist in unserem Data-Leakage-Guide dokumentiert.

Wie ein OGuardAI-Deployment aussieht

OGuardAI fügt sich als Schicht zwischen Anwendung und beliebigem Modellanbieter in den KI-Stack eines Kunden ein.

  • Es sitzt zwischen Ihrer Anwendung und jedem LLM, in Ihrer Infrastruktur
  • Ihre Inhalts- und Datenregeln liegen als YAML vor, das Sie kontrollieren
  • EU- oder Private-Hosting hält Daten in Ihrer Tenancy; das Modell sieht nie Roh-PII
  • Reversible Tokens erhalten die Ausgabequalität und schützen sensible Werte
  • Wir integrieren es in Ihre Pipeline und übergeben eine Schicht, die Ihr Team betreibt