Zum Hauptinhalt springen
Zurück zu Plugins
@capgo/capacitor-llm
Tutorial
von github.com/Cap-go

LLM

Große Sprachmodelle lokal auf dem Gerät mit Apple Intelligence und MLX-Unterstützung ausführen

Richtlinie

Tutorial zu LLM

Mit @capgo/capacitor-llm verwenden

LLM-Plugin-Interface für die Interaktion mit auf-Geräte-Langmodellen.

Installieren

bun add @capgo/capacitor-llm
bunx cap sync

Was diese Erweiterung bereitstellt

  • createChat - Erstellt eine neue Chat-Sitzung.
  • sendMessage - Sendet eine Nachricht an das AI in einer bestimmten Chat-Sitzung.
  • getReadiness - Holt den Status der Bereitschaft des LLM.
  • setModel - Setzt die Modellkonfiguration - iOS: Verwende "Apple Intelligence" als Pfad für das Systemmodell oder geben Sie den Pfad zu einem MediaPipe-Modell an - Android: Pfad zu einem MediaPipe-Modell-Datei (in assets oder Dateien-Verzeichnis).

Beispielanwendung

createChat

Erstellt eine neue Chat-Sitzung.

import { CapgoLLM } from '@capgo/capacitor-llm';

await CapgoLLM.createChat();

sendMessage

Sendet eine Nachricht an das AI in einer bestimmten Chat-Sitzung.

import { CapgoLLM } from '@capgo/capacitor-llm';

await CapgoLLM.sendMessage({} as { chatId: string; message: string });

getReadiness

Holt den Status der Bereitschaft des LLM.

import { CapgoLLM } from '@capgo/capacitor-llm';

await CapgoLLM.getReadiness();

setModel

Setzt die Modellkonfiguration - iOS: Verwende "Apple Intelligence" als Pfad für das Systemmodell oder geben Sie den Pfad zu einem MediaPipe-Modell an - Android: Pfad zu einem MediaPipe-Modell-Datei (in assets oder Dateien-Verzeichnis).

import { CapgoLLM } from '@capgo/capacitor-llm';

await CapgoLLM.setModel({} as ModelOptions);

Vollständige Referenz

Fortsetzen Sie mit der Verwendung von @capgo/capacitor-llm

Wenn Sie die Verwendung von Die Verwendung von @capgo/capacitor-llm um das Dashboard und die API-Operationen zu planen, verbinden Sie es mit @capgo/capacitor-llm zur Implementierungsdetail in @capgo/capacitor-llm Anleitung zum Starten zur Implementierungsdetail in Anleitung zum Starten API-Übersicht zur Implementierungsdetail in API-Übersicht Einführung Für die Implementierungsdetails in Einführung, und API Schlüssel Für die Implementierungsdetails in API Schlüssel.