Semantische Produktsuche als Erweiterung zur Standardsuche in Online Shops
Zusammenfassung
Viele Shops verwenden immer noch eine einfache Keyword-basierte Suche, die häufig zu irrelevanten bzw. gar keinen Ergebnissen führt.
Wir haben uns die Frage gestellt, wie diese Lösungen von den aktuellen Trends in der KI-Entwicklung profitieren können, ohne dass eine Migration der bestehenden Suche zu einer Enterprise Commerce Search Lösung, wie z.B. Coveo oder Algolia durchgeführt werden muss. Die Lösung: Semantische Produktsuche. Insbesondere für ältere B2B-Shops bietet die semantische Suche eine schnelle, kostengünstige Möglichkeit, Mehrwert zu generieren und bestehende Systeme aufzuwerten.
Einleitend erklären wir, was semantische Suche ist. Anhand der Google Embeddings API veranschaulichen wir dann, wie sich ausgehend von der Produktinformation eine semantische Repräsentation darstellen lässt und übertragen das auf ein konkretes Shop System: SAP Commerce / hybris mit Solr-basierter Standardsuche. Zum Schluss werfen wir noch einen Blick auf die Kosten und geben einen Ausblick auf die Möglichkeiten der Weiterentwicklung.
Warum semantische Suche wichtig ist
Semantische Suche versteht die Suchintention Ihrer Kunden – nicht nur die Keywords. Sie liefert relevantere Suchergebnisse, selbst wenn die exakten Suchbegriffe nicht im Produkttext vorkommen.
So können z.B. Anwendungsfall-bezogene Suchanfragen gestellt werden wie: „Industrie-Kleber für hitzebeständige Metallverklebung“ oder „Wandmontage Fernseher“, ohne dass einzelne Wörter überhaupt übereinstimmen müssen. Zum letzteren Fall würde eine Keyword-basierte Suche sehr wahrscheinlich auch Fernseher unter den ersten Ergebnissen zurückgeben.
Die Vorteile
Embeddings
Als erstes muss die Produktinformation in eine Vektordarstellung überführt werden. An dieser Stelle kommen GenAI-Modelle ins Spiel. In diesem Beitrag beschränken wir uns nur auf Text Embeddings. Geeignete Standard-Modelle in der Google Cloud Platform lassen sich hier nachlesen. Andere Anbieter, wie OpenAI bieten entsprechende Modelle an.
Eine gute semantische Produktsuche steht und fällt mit der Qualität Ihrer Produktdaten. Unvollständige oder schlecht gepflegte Information führt zu schlechten Suchergebnissen. In diesem Fall sollten Sie ein PIM-System wie Akeneo oder Atamya in Betracht ziehen, um Ihre Produktdaten zu optimieren.
Der Schritt lässt sich in einem ersten Proof of Concept leicht in einem Jupyter Notebook ausführen – bei der Google Cloud Platform z.B. über Colab.
Man kann auch gleich auf den erstellten Embeddings, indem man für den Suchtext das Embedding , s.o., erstellt und das Sklalarprodukt mit den Embeddings der vorhandenen Produkte berechnet. Je größer der Wert (1.00 = identisch), desto näher ist das Ergebnis.
Daraus lässt sich einfach der folgende Use Case ermitteln: Indem man zu einem vorhandenen Produkt-Embedding die Liste der Skalarprodukte absteigend sortiert, erhält man ähnliche Produkte.
Die oben genannten Schritte können in dem folgenden Notebook sehr einfach nachvollzogen werden:
- Colab – Google Cloud Umgebung erforderlich: Google Colab Notebook
- Cloud Skill Boost Lab: Analog zu 1 – die Umgebung wird für die Übung bereitgestellt. Hier besteht allerdings eine Zeitlimit und Beschränkungen in der Erstellung von Ressourcen, die nicht mit der Übung zusammenhängen: Cloud Skill Boost Lab
Eigentlich könnte man jetzt aufhören und diesen Ansatz so integrieren. Das ist grundsätzlich auch möglich und kostengünstig, jedoch bei vielen Produkten, häufigen Produktupdates oder vielen parallelen Suchanfragen aber nicht praktikabel.
In diesem Fall nutzt man eine Vektordatenbank und Vektorsuche
Vektordatenbank und Vektorsuche
Ohne zu sehr in die Tiefe zu gehen: Die Vektoren/Embeddings werden in einer dafür geeigneten Datenbank abgelegt.
Vector Search von Google stellt das bereit und indexiert die Embeddings. Die Suche basiert auf einem Näherungsalgorithmus, der unter Inkaufnahme kleiner Abweichungen enorm viel Rechenzeit einspart.
Vector Search ist für den Produktiveinsatz die erste Wahl. Vector Search unterstützt zudem auch hybride Suche also semantische + Keyword Suche.
Integration allgemein
Die Integration erfolgt, indem dem Suchbegriff das Embedding erstellt wird, die Suche ausgeführt und als Ergebnisse eindeutige IDs zurückgegeben werden. Diese werden dann entweder direkt wieder konvertiert oder an den bestehenden Suchprovider für eine Folgeabfrage übergeben
Integration am Beispiel SAP Commerce und Solr
In der SAP Commerce (Cloud) liefert die Suche die sogenannten Filterwerte (Facetten) mit, nach denen sich die Lösungsmenge weiter verfeinern lässt. Diese wären einfach durch eine Folgeabfrage an den Solr Index zu erreichen. Technisch lässt sich das über eine Extension problemlos und schnell umsetzen.
Kosten
Für die Google Cloud Platform und den beschriebenen Ansatz verweisen wir auf den Price Calculator. Ein Beispielsetup für 500.000 Vektoren mit durchschnittlicher Konfiguration ergibt Kosten ab etwa 150€ pro Monat. Das Pricing-Setup können Sie hier im Detail sehen und nach Belieben anpassen.
Ausblick
Die Integration von KI-gestützter Suche muss keine Mammutaufgabe sein. Mit der Google Cloud Platform können Sie schnell und kosteneffizient einen Proof of Concept erstellen und bei Erfolg in ein produktives Setup überführen und weiterentwickeln. Die hybride Suche (sematische Suche + Keyword Suche) ist ein interessantes und einfach zu erweiterndes Feature. Der Use Case besteht z.B. in B2B Shops, bei denen häufig direkt über IDs gesucht wird.
Ebenso überlegenswert ist die multimodale Suche über Bilder und Audio.
Als Google Cloud zertifizierter Service Partner unterstützen wir Sie gerne bei der Konzeption und Umsetzung. Kontaktieren Sie uns für eine individuelle Beratung.