GenAI, aber sicher
26.03.2025
Die LLB hat mit Ergon einen Proof-of-Concept zur sicheren Nutzung von generativer künstlicher Intelligenz (GenAI) mit sensitiven Daten auf Microsoft Azure durchgeführt. Ziel war es, die technischen Fähigkeiten und Performance von Large Language Models (LLM) und Retrieval Augmented Generation (RAG) auf proprietären Daten zu evaluieren. Um die Einhaltung der hohen Sicherheitsanforderungen der LLB zu gewährleisten, hat Ergon ihren GenAI-Security-Blueprint eingesetzt, mit dem die Services in Microsoft Azure umfassend geschützt und sicher verbunden werden konnten. So konnten Datenkontrolle, Datenschutz und Datensicherheit jederzeit gewährleistet werden. Das Ergebnis kann für eine Reihe von Anwendungsfällen eingesetzt werden.
Die LLB ist die traditionsreichste Bank in Liechtenstein und bietet ihren Kunden umfassende Dienstleistungen im Wealth Management an. Als sichere Anlagepartnerin ist die LLB kontinuierlich gewachsen und mittlerweile mit über 1’000 Mitarbeitenden in mehreren Ländern präsent.
Das Wachstum stellt der LLB stellt insbesondere die HR-Abteilung vor Herausforderungen. So steigt die Zahl der Anfragen stetig. Viel Zeit wird dabei für kurze Wissensfragen verwendet – was weniger Zeit für die Lösung von komplexeren Problemen bedeutet.
Im Rahmen eines Proof-of-Concept wollte die LLB zusammen mit Ergon die Fähigkeiten von Large Language Models (LLM) im Bezug auf die Beantwortung von solchen HR-spezifischen Fragen untersuchen. Mit Retrieval Augmented Generation (RAG) können interne Datentöpfe durchsucht und mit Hilfe eines LLMs für den Benutzer aufbereitet werden. Der resultierende Demo-Chatbot konnte dadurch kurze Wissensfragen der Mitarbeiter beantworten.
Dafür benötigt das System allerdings Zugriff auf interne Daten. Für die LLB war klar, dass solche Anwendungsfälle auf einer sicheren und geschützten Plattform geschehen müssen, bei der Datenkontrolle, Datenschutz und Datensicherheit jederzeit sichergestellt werden. Zu diesem Zweck setzte Ergon auf ihren GenAI-Security-Blueprint.
Eine sichere Plattform für die Erprobung von GenAI Lösungen
Mit der rasanten Verbreitung von GenAI Tools wie Large Language Modells stellt sich die Frage, wie diese sicher und verantwortlich eingesetzt werden können, um Mitarbeiter:innen und Kund:innen einen Mehrwert zu bieten. Dafür muss nicht nur die Datensicherheit gewährleistet sein, das Modell sollte auch korrekte Antworten liefern und sich dabei auf Fakten abstützen.
Der Retrieval Augmented Generation (RAG) Ansatz bietet dabei die Möglichkeit Antworten basierend auf bestehenden Unternehmensdaten zu generieren. Damit lässt sich die Genauigkeit des Modells erhöhen und es ist möglich dem Modell Informationen zu übergeben, die es vorher ins seinem Trainingsmaterial noch nicht gesehen hat. Wichtig ist, dass jede Aussage zum Zweck der Nachvollziehbarkeit zusätzlich mit einem Quellenverweis versehen wird.
Da RAG auf bestehenden Unternehmensdaten aufbaut, ist ein wichtiger Aspekt des Ergon GenAI-Security-Blueprints die Entfernung von persönlich identifizierbaren Informationen (PII Removal). Dies stellt sicher, dass die Privatsphäre der Nutzer:innen gewahrt bleibt und keine sensiblen Daten in den generierten Inhalten auftauchen. Um die Qualität und Genauigkeit der generierten Inhalte zu gewährleisten, sind ausserdem systematische Tests mit “Goldstandard”-Antworten unerlässlich. Diese Tests ermöglichen es, die Leistung der Modelle zu bewerten und kontinuierlich zu verbessern. Safety-Prompts und Content-Filter helfen dabei, unangemessene oder schädliche Inhalte zu vermeiden und sicherzustellen, dass die generierten Inhalte sicher und verantwortungsvoll sind. Die technische Umsetzung der Cloud-Infrastruktur mit Hilfe von VNETs (Virtual Network) hilft dabei die einzelnen Services – wie zum Beispiel die Suche und das LLM – von einander abzukapseln. In dem Netzwerkverbindungen isoliert und den Datenverkehr kontrolliert werden, wird die Datenintegrität zu geschützt und unerwünschter Zugriff verhindert.
Mit dem Ergon GenAI-Security-Blueprint konnte die LLB in einem geschützten Rahmen neue Modelle und Anwendungsfälle in kürzester Zeit erproben, ohne Abstriche bei der Sicherheit zu machen.
Sicher, vielseitig einsetzbar
Der Proof-of-Concept konnte aufzeigen das GenAI erfolgreich mit schützenswerten Daten auf einer Public Cloud eingesetzt werden kann. Dabei kann der Ansatz leicht auf neue Business Cases angepasst werden.
Ergon überzeugte in nur sechs Wochen durch diverse Kompetenzen: von der Entwicklung sicherer Infrastruktur in der Azure Cloud, über Document Intelligence und ETL-Prozesse, zu Prompt Engineering mit den neusten Tools und Sprachmodellen. Alles aus einer Hand durch unsere Fullstack Data Scientists.
Wollen auch Sie mit GenAI Geschäftsnutzen schaffen und Erfahrungen mit den neusten Methoden sammeln? Ergon berät und unterstützt den ganzen Prozess, vom Design einer Datenstrategie, über den Aufbau eine Data Foundation bis zur erfolgreichen Umsetzung und Betriebs ihres (Gen)AI-Cases.