Weiche Integration von generativer KI über Browser-Erweiterungen

TL;DR

• Browser-Erweiterungen sind ein wertvolles Werkzeug, um generative KI in bestehende Prozesse zu integrieren, da sie ein schnelles Prototyping ermöglichen, ohne bestehende Backends zu verändern.
• Wir demonstrieren eine solche sanfte Integration, indem wir eine Chrome-Erweiterung vorstellen, die Multiple-Choice-Fragen auf der Grundlage des Inhalts der aktuellen Webseite erstellt.

Der Stand der LLM-Anwendungsfälle

Während die Nützlichkeit von Sprachmodellen für spezialisierte Aufgaben der natürlichen Sprachverarbeitung (NLP) schon seit einigen Jahren offensichtlich ist, war das Aufkommen großer Sprachmodelle (LLMs) mit Milliarden von Parametern in Kombination mit der Feinabstimmung von Chat-Eingaben eine Überraschung. Generische Chat-Schnittstellen wie ChatGPT haben sich als Schweizer Taschenmesser für verschiedene Aufgaben erwiesen - so ist man heute bei der Programmierung ohne LLM-Unterstützung im Nachteil. Die Integration von LLMs in bestehende Anwendungsfälle ist jedoch noch in Arbeit. Wir haben z.B. noch keine Pizza über eine Chat-Schnittstelle bestellt.

Trotz des ganzen Hypes werden nicht alle vorgeschlagenen LLM-Integrationen sinnvoll sein. Daher benötigen wir skalierbare Ansätze, um solche Integrationen schnell zu prototypisieren, ohne spezielle Backends einzurichten. Daher diskutieren wir die Kombination von Browser-Erweiterungen mit LLM-Endpunkten für ein schnelles Prototyping.

Beispiel: automatisch generierte Fragen

Um die Studienergebnisse zu maximieren, sollten technische Dokumentationen mit separaten Multiple-Choice-Tests gekoppelt werden, um zu überprüfen, ob alle Konzepte verstanden wurden. Zu diesem Zweck gibt es externe Ressourcen wie Quizlet, die vordefinierte Fragen sammeln. Andererseits ermöglichen Webseiten wie Quizbot sogar die Erstellung von Multiple-Choice-Fragen in Echtzeit (unter Verwendung von LLMs). Wie auch immer, beide Lösungen sind nicht direkt in eine Webseite integriert. Daher ist die Benutzerakzeptanz aufgrund von UX-Lücken fraglich . Insbesondere der Wechsel zu einer anderen Webseite und das Kopieren von Inhalten ist eine Hürde, die viele Benutzer nicht akzeptieren wollen.

In der Tat ist uns kein Tool bekannt, das Multiple-Choice-Fragen direkt auf der Webseite generiert, auf der die Inhalte konsumiert werden. Daher glauben wir, dass dieses Beispiel als Blaupause für eine sanfte Integration von LLMs in bestehende Systeme dienen kann.

Eine Browser-Erweiterung "Fragengenerator".

Wir haben die in der folgenden Abbildung (auf einer Snowflake-Dokumentationsseite ) gezeigte Chrome-Erweiterung erstellt. Sie generiert drei Multiple-Choice-Fragen (im lila Fenster) auf der Grundlage des aktuellen Seiteninhalts. Um diese Fragen zu generieren, wird der Seiteninhalt als reiner Text extrahiert und an den OpenAI-Chatvervollständigungsendpunkt gesendet, wobei kontextinternes Lernen durch die Bereitstellung von Beispielfragen genutzt wird. Sobald der Benutzer Antworten ausgewählt hat, kann er bestätigen, ob diese Auswahl richtig ist:

Die Erweiterung funktioniert auch bei journalistischen Artikeln, zum Beispiel von der New York Times:

Wie Sie die Erweiterung "Fragengenerator" verwenden

1. Laden Sie das Code-Verzeichnis der Erweiterung herunter von: Github questiongenerator
2. Gehen Sie zum Erweiterungsmanager in Chrome (Puzzleteil) und wählen Sie dieses Verzeichnis mit "entpackt laden".
3. Wie in der nächsten Abbildung dargestellt, öffnen Sie die Erweiterungsoptionen und geben Ihren OpenAI API-Schlüssel ein.
4. Gehen Sie z.B. auf User-guide intro-key-concepts und klicken Sie auf das Plugin, um Ihr Wissen zu überprüfen!

Entwicklung von Browser-Erweiterungen

Die Entwicklung von Chrome-Browser-Erweiterungen hat eine steile Lernkurve. Ohne Vorkenntnisse in Javascript war dies früher ein mühsames Unterfangen. Mit ChatGPT als Programmierassistent ist es jedoch möglich, solche Plugins in wenigen Stunden zu erstellen, selbst mit grundlegenden Javascript-Kenntnissen. Eine vollständige End-to-End-Implementierung ist zwar noch nicht möglich, aber es ist möglich, Bausteine zu erstellen, die manuell integriert werden können. Die Übersetzung der generierten Fragen in HTML sowie die Überprüfung und Einfärbung der Antworten wurde beispielsweise vollständig von ChatGPT geschrieben.