AI xpress NET: On-premise-Betrieb von OpenSource KI-Modellen

AI xpress NET ist der Techtalk rund um KI-Themen im Böblinger Startup- und Innovationszentrum AI xpress. Er richtet sich an Entwickler*innen oder KI-Expert*innen mit Interesse an einem Austausch auf hohem technischen Niveau. AI xpress NET ist eine gemeinsame Veranstaltung der Wirtschaftsförderung Region Stuttgart GmbH und des AI xpress.

Thema der Veranstaltung am 12. Dezember 2024:

Die Nutzung von Sprachmodellen über Cloud-APIs bietet zwar viele Vorteile, birgt aber mittel- bis langfristig auch Risiken, wenn darüber Automatisierungen im Unternehmen aufgebaut werden.
Technisch lässt es sich nicht verhindern, dass API-Betreiber die Anfragen und die darin enthaltenen Informationen mitlesen können. Abgesehen von einfachen Anfragen – deren Antworten hinterher ohnehin öffentlich geteilt werden – ist dies problematisch, beispielsweise wenn man Kundendaten, Verträge oder auch strategische Themen über Large Language Models verarbeiten möchte. Auch die langfristige Kosten- und Technologiekontrolle liegt beim API-Betreiber und nicht bei den Anwendern.
OpenSource-Sprachmodelle und -Frameworks können kommerziell genutzt werden und bieten eine kosteneffiziente Lösung mit maximaler Kontrolle über die Systeme. Der Hardwareeinsatz ist oft geringer als gedacht, insbesondere bei Verwendung sinnvoller Technologien wie Quantisierung und einem pragmatischem Vorgehen bei der Beschaffung. Für viele Einsatzfälle lassen sich so konkurrenzfähige Alternativen aufbauen.
Bei unserem Vortragsabend erhalten Sie einen Einblick in eine On-premise Lösung, die seit Oktober 2023 im Kundeneinsatz ist und seither kontinuierlich weiterentwickelt wurde. Wir werden sowohl die Hardware- als auch die Softwareseite beleuchten und Ihnen eine realistische Einschätzung des notwendigen Zeit- und Kostenaufwands für den Aufbau und Betrieb geben. Ziel ist es, die Leistungsfähigkeit eines solchen Systems zu vermitteln und Ihnen zu zeigen, wie Sie Ihre Sprachmodelle sicher und souverän im Unternehmen betreiben können.

Nutzen für die Besucher:innen:

• Verständnis für Risiken von Cloud-APIs: Sie erfahren, welche Sicherheits- und Datenschutzrisiken bei der Nutzung von Cloud-basierten KI-APIs bestehen, insbesondere bei sensiblen Unternehmensdaten.
• Einblicke in OpenSource-Alternativen: Sie lernen, wie OpenSource-KI-Modelle eine kosteneffiziente und datensichere Alternative zu Cloud-Lösungen darstellen und welche Vorteile der On-premise-Betrieb bietet.
• Praktische Informationen zu Hardware und Software: Sie erhalten Einblicke zu Anforderungen und Kosten für den Aufbau und Betrieb von On-premise-Systemen mit OpenSource-KI-Modellen.
• Maximale Kontrolle und Flexibilität: Sie sehen, wie Unternehmen durch den Einsatz eigener Systeme die langfristige Kontrolle über Technologie und Kosten behalten können.
• Erfahrungen aus der Praxis: Sie profitieren von Einblicken in ein erfolgreiches On-premise-Projekt, das seit 2023 im Einsatz ist.