Zum Hauptinhalt springen
Zurück zu Plugins
@capgo/capacitor-llm
Tutorial
@capgo/capacitor-llm

LLM

Führen Sie große Sprachmodelle lokal auf dem Gerät mit Apple-Intelligenz und MLX-Unterstützung aus

Anleitung

Tutorial zum LLM

Gerät testen

Download the Capgo app, then scan the QR code.

Vorschau-Link für LLM-Plugin-QR code

Verwendung von @capgo/capacitor-llm

LLM-Plugin-Schnittstelle für die Interaktion mit Sprachmodellen auf Geräten.

Installieren

bun add @capgo/capacitor-llm
bunx cap sync

Was dieses Plugin bereitstellt

  • createChat - Erstellt eine neue Chat-Sitzung.
  • sendMessage - Sendet eine Nachricht an den AI in einer bestimmten Chat-Sitzung.
  • getReadiness - Holt den Status der Bereitschaft des LLM.
  • setModel - Setzt die Modellkonfiguration - iOS: Verwende "Apple Intelligence" als Pfad für das Systemmodell oder bereitstellen Sie den Pfad zum MediaPipe-Modell - Android: Pfad zu einem MediaPipe-Modell-Datei (in den Assets- oder Dateiverzeichnissen).

Beispiel für die Verwendung

createChat

Erstellt eine neue Chat-Sitzung.

import { CapgoLLM } from '@capgo/capacitor-llm';

await CapgoLLM.createChat();

sendMessage

Sendet eine Nachricht an das AI in einer bestimmten Chat-Sitzung.

import { CapgoLLM } from '@capgo/capacitor-llm';

await CapgoLLM.sendMessage({} as { chatId: string; message: string });

getReadiness

Ermittelt den Status der Bereitschaft des LLM.

import { CapgoLLM } from '@capgo/capacitor-llm';

await CapgoLLM.getReadiness();

setModel

Setzt die Modellkonfiguration - iOS: Verwenden Sie "Apple Intelligence" als Pfad für das Systemmodell oder geben Sie den Pfad zu einem MediaPipe-Modell an - Android: Pfad zu einem MediaPipe-Modell-Datei (in den assets- oder Dateiverzeichnissen).

import { CapgoLLM } from '@capgo/capacitor-llm';

await CapgoLLM.setModel({} as ModelOptions);

Vollständige Referenz

Fahren Sie mit dem Lesen von Using @capgo/capacitor-llm fort.

Wenn Sie Using @__CAPGO_KEEP_0__/__CAPGO_KEEP_1__-llm verwenden Using @capgo/capacitor-llm @API/__CAPGO_KEEP_1__-llm Wenn Sie @capgo/capacitor-llm verwenden für die Implementierungsdetails in @capgo/capacitor-llm, Einstieg für die Implementierungsdetails in Einstieg, API Übersicht für die Implementierungsdetails in API Übersicht, Einführung für die Implementierungsdetails in Einführung, und API Schlüssel für die Implementierungsdetails in API Schlüssel.