Wie Sie große neuronale Netze auf Ihrer eigenen Hardware betreiben können

Mit den Fortschritten bei neuronalen Netzen wächst auch das Interesse an der lokalen Ausführung von Large Language Models (LLMs) anstelle der Nutzung öffentlicher Dienste in der Cloud. Der lokale Betrieb von LLMs auf der eigenen Hardware bringt eine Reihe von Vorteilen mit sich. Erstens garantiert die lokale Ausführung den Datenschutz und stellt sicher, dass vertrauliche Informationen nicht unbeabsichtigt Dritten zugänglich gemacht werden. Zweitens bietet dieser Ansatz Benutzern auch mehr Kontrolle über ihre Rechenumgebung und ermöglicht spezifische Anpassungen und Optimierungen, die auf einer gemeinsam genutzten Cloud-Infrastruktur in der Regel nicht möglich sind.

Heute können LLMs mit Spezialkenntnissen in bestimmten Bereichen, wie z.B. Recht, Finanzmärkte, Medizin, auf Standardhardware mit oder ohne GPUs ausgeführt werden und bieten eine hervorragende Leistung in Bezug auf Reaktionszeiten und Ausgabequalität.

Lassen Sie sich diese Gelegenheit nicht entgehen, der Vortrag stellt kompakte LLMs vor und zeigt verschiedene Beispiele für die Ausführung von LLMs für Anwendungsfälle wie die Beantwortung von Fragen, die Zusammenfassung von Texten, die Bildanalyse und die Programmierung.

Veranstalter: SICOS BW