Ewaluacja workflow AI w n8n to sprawdzanie jakości odpowiedzi modelu na stałym zestawie przypadków testowych, zanim zmiana trafi na produkcję. n8n ma do tego funkcję Evaluations: przygotowujesz zbiór danych testowych (np. w Google Sheets lub tabeli danych n8n) z wejściem i oczekiwanym wynikiem, uruchamiasz na nim workflow i porównujesz wyniki za pomocą metryk, np. dokładnego dopasowania, podobieństwa albo oceny przez inny model. Dzięki temu po zmianie promptu czy modelu wiesz, czy jest lepiej, czy gorzej.
Dlaczego ewaluacja jest potrzebna
- Mała zmiana instrukcji potrafi poprawić jedne odpowiedzi i zepsuć inne.
- Dostawcy modeli aktualizują je, a zachowanie się zmienia.
- Bez liczb dyskusja o jakości AI to opinie, a nie decyzje.
Jak przygotować ewaluację krok po kroku
- Zbiór testowy: 30–100 prawdziwych przypadków, w tym trudne i nietypowe, z oczekiwanym wynikiem.
- Metryki: dla klasyfikacji dokładność, dla ekstrakcji zgodność pól, dla tekstu ocena przez model według kryteriów (poprawność, kompletność, ton).
- Uruchomienie: workflow przetwarza każdy przypadek, a wynik i ocena zapisują się obok.
- Porównanie: wynik nowej wersji porównujesz z poprzednią przed wdrożeniem.
- Aktualizacja zbioru: każdy błąd z produkcji dopisujesz jako nowy przypadek testowy.
Przykład z marketingu
Workflow klasyfikuje zapytania z formularza na „lead sprzedażowy”, „wsparcie” i „spam”. Zbiór testowy to 80 historycznych zapytań z ręczną etykietą. Po zmianie modelu na tańszy ewaluacja pokazuje, czy dokładność nie spadła. Jeśli spadła o kilka punktów, a koszt zmalał o połowę, decyzję podejmujesz świadomie.
Monitoring na produkcji
- loguj wejście, wynik i wersję promptu,
- zbieraj korekty ludzi (np. zmiana kategorii w CRM) jako sygnał błędów,
- co tydzień przeglądaj próbkę wyników.
Budowę agentów opisaliśmy w artykule AI Agent w n8n, a szersze praktyki w tekście o MLOps.
AI z kontrolą jakości
Każdy workflow AI, który wdrażamy, ma zestaw testowy i mierzalne kryteria jakości. Zobacz usługę wdrożenia AI albo umów bezpłatną konsultację.