Semantische Suchverfahren liefern Ergebnisse, die inhaltlich nah beieinanderliegen – doch das bedeutet nicht automatisch, dass sie auch die eigentliche Fragestellung beantworten. Text-Match-Filter schaffen hier eine technische Lösung, indem sie präzisen Kontext liefern, ohne dass Teams den gesamten Datensatz im Voraus kennzeichnen müssen. Für Menschen ist es einfach, irrelevante Treffer zu erkennen. Ein Agent hingegen verarbeitet jedes Ergebnis als wahrheitsgetreu und handelt ungeprüft darauf basierend, was zu kostspieligen Fehlern führt.
Das Kontext-Dilemma: Wenn Bedeutungsnähe irreführt
Nehmen wir die Anfrage: Wer sind die führenden Präsidentschaftskandidaten? Ein Nutzer in den USA meint damit nahezu ausnahmslos die amerikanische Präsidentschaftswahl. Nichts in der Abfrage selbst verrät jedoch diese geografische Eingrenzung.
Eine reine Dense-Vector-Suche liefert in diesem Fall Ergebnisse rund um die französische Präsidentschaftswahl. Artikel über Marine Le Pen und Emmanuel Macron erscheinen mit hohen Ähnlichkeitsscores an vorderster Stelle. Sie sind semantisch korrekt, kontextual jedoch komplett daneben.
Die naheliegende Lösung, den Nutzer zur präziseren Formulierung zu zwingen, schiebt die Verantwortung auf die fragende Person. In agentenbasierten Pipelines hat ein schlechter erster Treffer jedoch weitreichendere Folgen. Ein Agent, der auf Grundlage falsch zugeordneter Daten Analysen erstellt, verschwendet nicht nur Token für die Fehlantwort, sondern invalidiert auch alle folgenden Tool-Aufrufe. Der Fehler potenziert sich mit jedem Verarbeitungsschritt.
Metadaten-Filterung nach Ländern wäre denkbar, erfordert aber, dass jeder Datensatz im Voraus für jede denkbare Dimension etikettiert wird. Jede nachträglich erforderliche Filterdimension macht eine vollständige Neubearbeitung des gesamten Datenbestandes notwendig. Bei produktiven Systemen können das Milliarden von Datensätzen sein.
Text-Match-Filter als präzise Lösung
Pinecones neue Full Text Search unterstützt Text-Match-Filter. Dabei handelt es sich um lexikalische Abfragen, die den Kandidatenpool für eine semantische Suche auf Datensätze eingrenzen, die bestimmte Textpassagen enthalten. Das funktioniert ganz ohne vorherige Metadaten-Etikettierung für jeden erdenklichen Anwendungsfall.
Angewendet auf dasselbe Beispiel ändert ein Filter nach United States das Ergebnis grundlegend. Die Abfrage, das Modell und der Index bleiben identisch. Lediglich der Kandidatenpool wird vor der Vektorsuche auf Artikel reduziert, die den Begriff United States im Textkörper enthalten. Die Ergebnisse zeigen nun ausschließlich Inhalte zu US-Präsidentschaftskandidaten wie Joe Biden oder Bernie Sanders.
Über Nachrichtensuchen hinaus
Das Muster wiederholt sich überall dort, wo Anfragen ungesagten Kontext voraussetzen. Industrielle Handbücher lassen sich über Maschinennummern oder Fehlercodes eingrenzen. Versicherungsansprüche können nach Policennummern oder Schadenstypen gefiltert werden, juristische Recherchen nach Gerichtsbarkeiten oder Fallnummern. Die meisten semantischen Suchanwendungen stoßen früher oder später auf diese Herausforderung.
Diese Filter lassen sich beliebig kombinieren. Boolesche Operatoren, Stapelungen mit Metadatenfiltern oder mehrere Text-Match-Filter über verschiedene Felder hinweg verengen den Kandidatenpool in einer einzigen Abfrage entlang mehrerer Dimensionen.
Was sich für Agenten-Systeme ändert
Ein Agent besitzt keine interne Prüfinstanz, die semantisch nah beieinanderliegende Ergebnisse auf tatsächliche Eignung überprüft. Jede notwendige Filterung muss daher stattfinden, bevor die Daten den Agenten erreichen.
Text-Match-Filter verlagern diese Korrektur direkt in die Abfrage selbst. Der Datenbestand muss nicht für jeden späteren Filterbedarf im Voraus aufbereitet werden. Für Pipelines, in denen ein fehlerhafter Abruf eine Kette verschwendeter Tool-Aufrufe auslöst, ist die Eingrenzung des Kandidatenpools zum Abfragezeitpunkt deutlich kostengünstiger als die nachträgliche Fehlerkorrektur.
Quelle: https://www.pinecone.io/blog/text-match-filters/
