Eindrücke von der LLMs in Production Konferenz

Da die Antworten von LLMs ausgefeilt sind, auf einen großen Fundus an Fakten zurückgreifen und wir dazu neigen, ihnen die Art von allgemeinen und oberflächlichen Fragen zu stellen, bei denen ihre Musterbibliothek am besten funktioniert, wird uns vorgegaukelt, dass sie allgemeiner fähig sind als sie es tatsächlich sind.

Gleichzeitig sind sie in der Tat sehr gut in der Lage, eine Vielzahl von wirklich nützlichen Aufgaben zu erledigen. Die meisten ihrer Leistungen sind intellektuell oberflächlich, aber viele Aufgaben in der realen Welt sind oberflächlich.

Um über den Hype hinauszukommen und einen echten Mehrwert zu erzielen, müssen wir diese Modelle in die Produktion bringen. Aus diesem Grund haben wir eine Watch Party für die jüngste LLMs in der Produktion Konferenz . Hier sind unsere wichtigsten Erkenntnisse.

Für mich war die wichtigste Erkenntnis die Vielzahl der technischen Herausforderungen und Möglichkeiten, die sich durch die jüngsten Entwicklungen in der KI ergeben haben. LLMs und Basismodelle schaffen von sich aus nur einen begrenzten Wert. Es ist die Art und Weise, wie der Benutzer mit ihnen interagiert, die sie nützlich macht. Die Chat-Schnittstelle war bereits ein Fortschritt für LLMs, da dem Modell anhand des Chatverlaufs mehr Kontext zur Verfügung gestellt werden konnte. Aber sollte die Interaktion mit dem Benutzer nur über natürliche Sprache und Dialoge erfolgen? Auf der Konferenz wurden mehrere Alternativen vorgestellt, die technische Anstrengungen erfordern, um die nichtsprachlichen Ein- und Ausgaben von LLMs zu verbinden. Linus' Vortrag "Generative Interfaces beyond Chat" bot einige interessante Alternativen für die Bereitstellung von Kontext für KI-Assistenten in Softwareanwendungen. Worauf schaut der Benutzer gerade? Welche Menüs sind geöffnet? Welche Aktionen hat der Benutzer kürzlich durchgeführt? Die Übersetzung dieser nichtsprachlichen Informationen in natürliche Sprache und ihre Weitergabe an LLMs über die Eingabeaufforderung könnte das Benutzererlebnis erheblich verbessern. Einem Benutzer, der an einer Tabellenkalkulation arbeitet, kann zum Beispiel besser geholfen werden, wenn der LLM weiß, welche Zellen ausgewählt wurden. Auch auf der Output-Seite des LLM gibt es Möglichkeiten. Der Vortrag von Harrison Chase über Tools für LLMs war besonders interessant. Die Beantwortung von Fragen ist nützlich, erfordert aber immer noch eine Aktion seitens des Benutzers. Wenn LLMs Tools verwenden, um das Internet zu durchsuchen, Python-Skripte auszuführen und mit anderen Agenten zu interagieren, erweitert dies ihre Möglichkeiten über den Chat hinaus. Dies ist jedoch keine triviale Aufgabe, da Sprachmodelle von Haus aus nur Text erzeugen können. Die Verwendung von Tools mit LLMs erfordert daher eine zusätzliche technische Ebene, die Anweisungen in die entsprechenden Aktionen übersetzt.

- Jochem Loedeman

Eine der wichtigsten Erkenntnisse für mich war die Bedeutung von Prompt Hacking. Es ist von größter Wichtigkeit, das Bewusstsein für Prompt-Hacking zu schärfen und potenzielle Sicherheitslücken zu vermeiden. Zum Beispiel könnte eine bestimmte Eingabeaufforderung dazu führen, dass der Chatbot geheime Informationen über eine Antwort preisgibt. Dieses Thema ist besonders wichtig, da es immer mehr Anwendungsfälle gibt, die sich vollständig auf Automatisierung stützen und Prompt-Hacking aufgrund fehlender menschlicher Aufsicht nicht bemerken werden. Eine weitere Erkenntnis betrifft die Anwendungsfälle des Large Language Model. Während die Anwendung in Chatbots offensichtlich ist, gibt es viele andere vielversprechende Richtungen. Natürliche Sprache kann als einfache (und demokratisierte) Schnittstelle dienen, um Aufgaben zu lösen, deren Ausführung zu technisch und zeitaufwändig ist (z.B. das Schreiben von API-Aufrufen, das Erstellen von Boilerplate-Code, das Skizzieren von Bildern/Diagrammen usw.), die aber für Menschen trivial zu verstehen und zu validieren sind. Als Datenwissenschaftler sehe ich generative KI eher als Produktivitätswerkzeug denn als Ersatz für einen Arbeitsplatz. LLMs sind zwar leistungsfähig, aber der Mensch muss in der Schleife bleiben. Dieser Paradigmenwechsel ermöglicht ein Denken auf höherer Ebene mit Fokus auf Geschäftslösungen.

- Caio Benatti Moretti

Meine Eindrücke aus dem Vortrag über Vektordatenbanken und große Sprachmodelle:

• Aktuelle LLM-Modelle sind oft sehr viel nützlicher, wenn sie kontextabhängige Daten zur Bewältigung domänenspezifischer Aufgaben nutzen können.
  • Der traditionelle Weg, dieses Problem durch eine Umschulung oder Feinabstimmung der Modelle zu lösen, ist jedoch oft nicht praktikabel. Zum Beispiel aufgrund der hohen Kosten oder des Mangels an notwendigem Fachwissen. Oder einfach, weil das Modell hinter einer API verschlossen ist.
  • Glücklicherweise gibt es eine weitere Möglichkeit, kontextbezogene Daten in den Mix einzubringen: die Verwendung von Vektoreinbettungen. Diese Einbettungen erstellen eine Darstellung von (unstrukturierten) Daten, die mit Hilfe von Ähnlichkeitsmetriken durchsucht werden können.
  • Indem Sie Ihrem generativen Modell Zugriff auf eine Vektordatenbank geben, die Einbettungen nützlicher Daten enthält, ermöglichen Sie ihm die Suche und den Abruf von Informationen, die für die Lösung der anstehenden Aufgabe erforderlich sind.
• Beispiele für Anwendungsfälle, die davon profitieren können, dass Ihr Modell Zugriff auf eine Vektordatenbank mit relevanten Einbettungen hat, sind:
  • Kontextbezogene Abfrage: Ihr Modell kann relevante Informationen aus einer "Wissensdatenbank" suchen und abrufen. Dies ist nützlich für Lösungen zum Auffinden und Abrufen von Dokumenten.
  • LLM Memory; indem Sie Ihrem Modell erlauben, Teile seiner Gespräche zu speichern, zu suchen und abzurufen. Dies kann für die Entwicklung von Chatbots genutzt werden, die einen früheren Gesprächskontext benötigen.
  • LLM Caching; indem Sie Ihrem Modell erlauben, Abfragen und entsprechende Antworten zwischenzuspeichern und dies als Cache für semantisch ähnliche Anfragen zu verwenden. Das spart Rechen- und Geldkosten und kann Ihre Lösung erheblich beschleunigen.
• TLDR; Sie können Ihre LLMs aufwerten, indem Sie sie mit einer Vektordatenbank verbinden, denn so können sie benutzerdefinierte, kontextabhängige Daten nutzen.

- Stijn Tonk

Abschließend möchte ich Ihnen sagen, dass Sie als Datenwissenschaftler oder Ingenieur für maschinelles Lernen keinen Grund haben, sich um Ihren Job zu sorgen.

Die jüngsten Fortschritte bei LLMs führen zu immer mehr Automatisierung. Es ist bereits möglich, einen einzigen Prompt zu schreiben, um eine komplette Modellpipeline in Python zu erstellen. Doch bevor wir unsere Arbeit vollständig an Prompt-Ingenieure abgeben, sollten Sie nicht vergessen, dass noch einiges an Arbeit zu leisten ist, bevor ein Modell tatsächlich einen Wert für Ihr Unternehmen liefert.

Viele Dinge sind noch nicht so einfach zu automatisieren: die Übersetzung eines Geschäftsproblems in ein Datenprodukt, die Gestaltung der Feedbackschleife für kontinuierliches Lernen, die Verknüpfung der einzelnen Teile und die Auswahl der richtigen Tools für die Aufgabe.

Ein guter Geschäftssinn, starke Kommunikationsfähigkeiten und technische Fertigkeiten, um alles zu koordinieren, sind der Schlüssel, um in unserer Branche relevant zu bleiben.