KI-Agent „Forum-Suche“: Einstellung semantischer Suche und Embeddings

Diskurs
1

Was getan wurde

Ein AI-Agent „Forum-Suche“ (ID=5) wurde für semantische Suche in den Inhalten des Forums discuss.rabkesov.ru erstellt, mit der Möglichkeit, Ergebnisse durch Internet-Enrichment zu ergänzen.

Agent

Werkzeuge

Werkzeug Zweck Parameter
Search Semantische + Keyword-Suche max_results=20, search_private=true
Read Vollständige Lektüre von Threads read_private=true
Researcher Tiefgehende Analyse/Synthese aus mehreren Threads max_results=10, LLM=qwen3-VL-8b
WebBrowser Webseiten-Browsing (für Web-Enrichment) -

Verhalten

  1. Jede Anfrage wird ausschließlich innerhalb des Forums durchgeführt (Search + Read + Researcher)
  2. Jeder Fakt wird mit einem Link zum Thread/Post zitiert
  3. Am Ende fragt der Agent: „Möchten Sie die Ergebnisse mit Informationen aus dem Internet ergänzen?“
  4. Bei Bestätigung verwendet er WebBrowser zur Priorisierung bestimmter Webseiten:
  5. Antwortet auf der Sprache der Frage

Wie man es nutzt

  • Erwähne @Suche_im_Forum_bot in jedem Thread
  • Sendet eine private Nachricht an den Bot
  • Über AI-Bot-Conversations

Ersetzung der Embedding-Modell: nomic v1.5 → v2-moe

Problem

Die Modell nomic-embed-text-v1.5 gruppieren Texte nach Sprache, nicht nach Bedeutung. Test:

Paar Cosine-Similarität
RU „vLLM-Einstellung“ ←→ EN „vLLM-Konfiguration“ (gleiche Thematik) 0.634
RU „vLLM-Einstellung“ ←→ RU „Borscht-Rezept“ (unterschiedliche Themen) 0.650
Gap (Trennung nach Bedeutung) -0.016

Russischer Text über vLLM ist näher an russischem Borscht-Rezept als an englischen Text über vLLM. Der semantische Suchvorgang auf dem russischsprachigen Forum funktionierte mit dieser Modell nicht korrekt.

Lösung

Geändert auf nomic-embed-text-v2-moe (MoE, 8x277M, 512 MB Q8_0, 100+ Sprachen). Ergebnis:

Paar v1.5 v2-moe
RU „vLLM“ ←→ EN „vLLM“ (gleiche Thematik) 0.634 0.924
RU „vLLM“ ←→ RU „Borscht“ (unterschiedliche Themen) 0.650 0.163
Gap -0.016 +0.761

Embedding-Einstellungen (Endgültig)

Parameter Wert
ai_embeddings_enabled true
ai_embeddings_selected_model 12 (nomic-embed-text-v2-moe)
ai_embeddings_semantic_search_enabled true
ai_embeddings_semantic_search_use_hyde true
ai_embeddings_semantic_search_hyde_agent -32 („Inhaltsersteller“)
ai_embeddings_semantic_quick_search_enabled true

Das Modell nomic-embed-text-v2-moe sollte kontinuierlich in LM Studio geladen werden (~488 MB VRAM). Der Backfill der Embeddings wird automatisch durch Sidekiq nach dem Wechsel des Modells gestartet.

Einschränkung: Web-Suche

Das Google-Tool (vollständige Web-Suche) ist nicht verfügbar — ai_google_custom_search_api_key ist nicht konfiguriert. Der Agent verwendet WebBrowser zur Besuch von bestimmten URLs. Für eine vollständige Internet-Suche ist erforderlich:

LLM-Server-Logs

Pfad: ~/.lmstudio/server-logs/YYYY-MM/YYYY-MM-DD.N.log

  • Monatliche Rotation in Ordnern, innerhalb nach Tagen
  • N = Rotationnummer pro Tag
  • Beispiel: ~/.lmstudio/server-logs/2026-03/2026-03-30.1.log