KI-Inferenz über Confidential Computing

<div class="h1">Titel</div> <div class="pre">KI-Inferenz über Confidential Computing</div> <div class="h1">Beschreibung</div> <div class="pre">Mit der vorliegenden Ausschreibung sollen Lizenzen für einen Managed Service zur Bereitstellung von KI-Inferenz über Confidential Computing beschafft werden. Der zu beauftragende Managed Service ermöglicht es dem Auftraggeber, KI Modelle zur sicheren Verarbeitung sensibler Daten in einer vertrauenswürdigen, hardwaregestützten Ausführungsumgebung (Trusted Execution Environment, TEE) auszuführen. Die Lösung wird benötigt um die Skalierung von KI in der Öffentlichen Verwaltung zu beschleunigen. Die Inferenzleistung soll über marktübliche Schnittstellen (APIs) an die KI-Plattform angebunden werden, soll eine Ende-zu-Ende Verschlüsselung ermöglichen und die Option diese Verschlüsselung jederzeit zu verifizieren (Remote Attestation) bieten. Ziel ist der Schutz von Daten während der Verarbeitung (Data-in-Use), indem die Vertraulichkeit und Integrität der Workloads kryptografisch und technisch gesichert wird, sodass der Managed Service Provider, der Cloud-Administrator oder der Host-Betriebssystem-Layer nachweislich keinen unverschlüsselten Zugriff auf die Workload-Daten oder den Code innerhalb des TEE besitzt. Ziel ist außerdem die Einhaltung relevanter Sicherheits- und Datenschutzanforderungen sowie Bereitstellung von Betriebs- und Support-Leistungen aus einer Hand. Dabei liefert der Auftragnehmer gemäß dieser Leistungsbeschreibung und dem Anforderungskatalog angepasste Lizenzen für Inferenz von großen Sprachmo-dellen (LLM) durch Confidential Computing. Der Auftragnehmer unterstützt dabei den Aufbau und Betrieb des Services gemäß dieser Leistungsbeschreibung, des Anforderungskatalogs und der weiteren beigestellten Dokumente.</div> <div class="h1">Interne Kennung</div> <div class="pre">26-D305426402</div>