Zum Hauptinhalt springen
Zurück zu plugins
@capgo/capacitor-llm
Tutorial
von github.com/Cap-go

LLM

Lokale Ausführung von großen Sprachmodellen auf dem Gerät mit Apple Intelligence und MLX-Unterstützung

Richtlinie

Tutorial zum LLM

Mit @capgo/capacitor-llm arbeiten

LLM-Plugin-Interface für die Interaktion mit Sprachmodellen auf Geräten.

Installieren

bun add @capgo/capacitor-llm
bunx cap sync

Was dieses Plugin enthüllt

  • createChat - Erstellt eine neue Chat-Sitzung.
  • sendMessage - Sendet eine Nachricht an den AI in einer bestimmten Chat-Sitzung.
  • getReadiness - Holt den Bereitschaftsstatus des LLM.
  • setModel - Setzt die Modellkonfiguration - iOS: Verwende "Apple Intelligence" als Pfad für das Systemmodell oder gib den Pfad zu einem MediaPipe-Modell an - Android: Pfad zu einem MediaPipe-Modell-Datei (in assets- oder Dateiverzeichnis).

Beispielanwendung

createChat

Erstellt eine neue Chat-Sitzung.

import { CapgoLLM } from '@capgo/capacitor-llm';

await CapgoLLM.createChat();

sendMessage

Sendet eine Nachricht an den AI in einer bestimmten Chat-Sitzung.

import { CapgoLLM } from '@capgo/capacitor-llm';

await CapgoLLM.sendMessage({} as { chatId: string; message: string });

getReadiness

Ermittelt den Status der Bereitschaft des LLM.

import { CapgoLLM } from '@capgo/capacitor-llm';

await CapgoLLM.getReadiness();

setModel

Setzt die Modellkonfiguration - iOS: Verwende "Apple Intelligence" als Pfad für das Systemmodell oder gib den Pfad zu einem MediaPipe-Modell an - Android: Pfad zu einem MediaPipe-Modell-Datei (in assets- oder Dateiverzeichnis).

import { CapgoLLM } from '@capgo/capacitor-llm';

await CapgoLLM.setModel({} as ModelOptions);

Vollständige Referenz