Największym wyzwaniem była konieczność stworzenia systemu, który zapewni maksymalną precyzję odpowiedzi w bardzo technicznej dziedzinie, jaką jest łączenie tworzyw sztucznych. Musieliśmy uniknąć 'halucynacji’ typowych dla dużych modeli językowych.
Dlatego kluczowa była architektura oparta na RAG (Retrieval-Augmented Generation), z wykorzystaniem n8n jako głównego orkiestratora całego procesu:
- Repozytorium Wiedzy (Onyx RAG): Zamiast polegać na ogólnej wiedzy AI, zaimplementowaliśmy Onyx jako wektorową bazę danych. Została ona zasilana wyłącznie wewnętrzną, sprawdzoną bazą wiedzy Ataszek.pl. To gwarantuje, że chatbot odpowiada tylko w oparciu o fakty techniczne klienta.
- Własny Connector i n8n: Zbudowaliśmy dedykowany konektor. Kiedy klient lub handlowiec zadaje pytanie, n8n używa tego konektora do wywołania Onyx. Onyx wyszukuje najbardziej pasujące fragmenty z bazy (kontekst).
- Generowanie z Faktów (OpenRouter): n8n następnie wysyła ten kontekst (fakt) wraz z oryginalnym pytaniem do wybranego modelu AI (zarządzanego przez OpenRouter). Dzięki OpenRouter mogliśmy elastycznie testować i wybrać najbardziej efektywny kosztowo i precyzyjny model, który na podstawie dostarczonego kontekstu RAG generuje syntetyczną i poprawną odpowiedź.
Całość działa błyskawicznie i zapewnia, że handlowcy uzyskują natychmiastowe, wiarygodne wsparcie techniczne.
Patryk Wloch