Der Modellbetrieb

Hier liegt der einzige echte Zielkonflikt. Wir stellen ihn offen dar, statt ihn aufzulösen.

Variante 1: Modelle bei einem EU-Anbieter

Generierung und dichte Einbettung laufen bei Scaleway in Paris. Es wird kein Drittland berührt. Der Prompt an das Sprachmodell wird vor dem Versand redigiert: österreichische Sozialversicherungsnummern, IBAN, E-Mail-Adressen, österreichische Telefonnummern, Personennamen und Ortsangaben werden durch neutrale Platzhalter ersetzt und in der Antwort wieder eingesetzt, bevor Sie sie sehen.

Was diese Redaktion nicht erfasst, gehört auf denselben Zettel: Der Aufruf an den Einbettungsdienst ist nicht redigiert. Beim Hochladen eines Dokuments wird dessen Text in Abschnitten an den Einbettungsdienst gesendet, um ihn durchsuchbar zu machen — im Klartext. Ebenso wenig erfasst die Redaktion Aktenzahlen, Firmenbuchnummern, UID-Nummern, Geburtsdaten, Beträge und Organisationsnamen. Das ist die Stelle, an der die Variante (b)/(c) berufsrechtlich begründungspflichtig wird.

• Vorteil: keine GPU-Anschaffung, größere Modelle als lokal wirtschaftlich betreibbar, Modellwechsel ohne Hardwarewechsel.
• Nachteil: Text verlässt die Installation. Sie müssen die Auslagerung tragen und dokumentieren.

Variante 2: Modelle auf eigener GPU

Generierungs- und Einbettungsmodell laufen auf Ihrer Hardware. Damit entfällt der Klartextweg zum Einbettungsdienst vollständig, und die Frage „werden unsere Daten zum Training verwendet" beantwortet sich nicht durch einen Vertrag, sondern durch die Netzwerkkonfiguration. Die Gewichte sind statisch; sie lernen nicht aus Ihren Akten.

• Vorteil: kein Textabfluss, keine Auftragsverarbeitung für Mandatsinhalte, keine Unterauftragsverarbeiterkette, keine wiederkehrende Prüfung fremder Dienstleisterlisten.
• Nachteil: Sie kaufen Hardware, und Sie betreiben in aller Regel ein kleineres Modell als in der Cloud. Ein lokal betreibbares Modell der mittleren Größenklasse formuliert kürzer und weniger elegant als ein sehr großes gehostetes Modell.

Zum Nachteil gehört eine Einordnung, die wir für belastbar halten: Für juristische Arbeit ist die bindende Größe selten die Modellgröße, sondern der Zugriff auf die eigenen Akten, Vorlagen und Schriftsätze. Ein sehr großes Modell, das Ihre Akten nicht sehen darf, verliert gegen ein kleineres, das sie kennt. Prüfen Sie das nicht an unserer Behauptung, sondern im Pilotbetrieb an eigenen, abgeschlossenen Mandaten, deren Ergebnis Sie kennen.

Zu Antwortzeiten: Sie hängen von Modell, Hardware und Antwortlänge ab und reichen im heutigen Betrieb von wenigen Sekunden bis über eine Minute bis zum ersten Wort. Wir veröffentlichen dafür keine Zielwerte als Messwerte und geben keine Zeitgarantie ab.