Pinecone hat die allgemeine Verfügbarkeit von Full-Text Search in Pinecone Database bekannt gegeben. Nutzer können ab sofort exakte Schlüsselwortsuchen über BM25-Ranking direkt im selben Index wie ihre semantischen Vektoren ausführen. Das eliminiert die Notwendigkeit separater Systeme für literalen Strings wie SKUs, Fehlercodes oder Bestellnummern.
Full-Text Search in Pinecone: Das Problem mit rein semantischer Suche
Semantische Suche arbeitet mit Bedeutung und Embeddings. Sie ist ideal für konzeptuelle Anfragen, bei denen die Wortwahl vom Dokument abweicht. Bei literalen Zeichenketten wie Produktnummern, Seriennummern oder Fall-IDs erreicht sie jedoch ihre Grenzen. Ein Embedding-Modell zerlegt PROD-001 in Subword-Tokens und ordnet es neben PROD-002 oder PROD-003 ein. Das Ergebnis liegt semantisch nah, ist aber inhaltlich falsch.
Dieses Versagen ist lautlos. Eine Vektorsuche liefert immer ihre nächsten Nachbarn zurück. Es gibt keine leere Ergebnismenge und keinen Fehler. Ein Agent verarbeitet die falsche Dokumentation, und erst spät zeigt sich der Schaden – etwa durch versandte Falleteile oder falsch angewendete Richtlinien.
Präzise Treffer für Business-Kritische Anwendungen
Identifier, SKUs und Fehlercodes
Artikelnummern, Teilenummern und Fehlercodes sind die Domäne lexikalischer Suche. Das BM25-Ranking bewertet den Begriff selbst, und Text-Match-Filter liefern keine Ergebnisse, wenn der Identifier fehlt. Ein Fehlschlag bleibt erkennbar, statt als ähnlicher Treffer zu verschwinden.
Empfehlungen mit harten Constraints
Wenn Nutzer ein konkretes Modell oder eine kompatible Teilenummer nennen, muss jede Empfehlung dies respektieren. Embeddings allein können das nicht garantieren. Ein Text-Match-Filter fixiert den Kandidatenpool auf Dokumente mit dem exakten Begriff, während die semantische Suche innerhalb dieses Pools sortiert.
RAG über Unternehmensdokumente
Konzeptuelle Fragen erfordern semantische Suche. Bei spezifischen Klauseln oder Fehlercodes ist jedoch nur die lexikalische Suche zuverlässig. Da beide Methoden im selben Index liegen, kann das RAG-System die passende Klausel anstelle eines ähnlichen Absatzes liefern.
Agent-Tool-Use bei strukturierten Daten
Agenten müssen häufig Daten anhand von Werten aus vorherigen Arbeitsschritten nachschlagen, etwa Bestellnummern oder Statusstrings. Full-Text Search findet den exakten Wert und sichert so die Datenqualität für alle Folgeschritte.
So funktioniert die Integration in Pinecone
Pinecone Database nutzt jetzt ein einheitliches Dokumentenschema über die Documents API. In einem Index lassen sich Textfelder, Dense-Vector-Felder und Sparse-Vector-Felder gemeinsam definieren und abfragen.
Anwender behalten die vertrauten Pinecone-APIs und SDKs sowie die serverlose Architektur bei. Die Kapazität bleibt nutzungsbasiert und wird in Storage-, Read- und Write-Units gemessen. Auch Optionen wie Dedicated Read Nodes und BYOC stehen weiter zur Verfügung.
Neu hinzu kommen BM25-Keyword-Ranking über mehrere Textfelder pro Index, Lucene-Query-Syntax mit booleschen Operatoren und Phrasenqueries sowie Text-Match-Filter, die jede Suche einschränken können. Fuzzy Matching mit dem Tilde-Operator erhöht die Tippfehlertoleranz, während Tokenization und Stemming in 18 Sprachen sowie sprachagnostische N-Gramme für Substring- und Prefix-Matching sorgen.
Fazit
Full-Text Search in Pinecone Database vereint semantische und lexikalische Suche in einem einzigen Index und einem einzigen Schema. Anwendungen, die bisher separate Systeme für exakte Texttreffer benötigten, reduzieren damit ihre Infrastrukturkomplexität erheblich. Teams sparen Zeit für Wartung und können sich stärker auf die Produktentwicklung konzentrieren.
Quelle: https://www.pinecone.io/blog/full-text-search-generally-available/
