Een AI-chatbot beoordelen op vragen uit de praktijk
Een chatbot geeft in de demonstratie goede antwoorden, maar struikelt over dagelijkse vragen. Radorfa ontwikkelt en beoordeelt een AI-chatbot in Veghel met een herkenbare testset. Microsoft Foundry ondersteunt evaluaties en inzicht in de verwerking.
Inhoudelijke medewerkers beoordelen of antwoorden kloppen en bruikbaar zijn; een automatische score is ondersteunend bewijs, geen vervanging voor die beoordeling.
1Vertaal dagelijkse vragen naar testgevallen
We bespreken veelvoorkomende, onduidelijke en lastige vragen met de inhoudelijk verantwoordelijke. Radorfa inventariseert chatapplicatie, accounts, bronnen en gewenste uitkomsten. De testset bevat ook vragen waarop de chatbot geen antwoord hoort te geven. Verwachte betekenis en broninformatie worden vastgelegd zonder ieder goed antwoord tot één verplichte formulering te beperken.
2Vergelijk antwoord en gebruikte informatie
We voeren gesprekken uit met de afgesproken model- en bronconfiguratie. Radorfa gebruikt relevante Microsoft Foundry-evaluaties en controleert bronselectie, antwoordinhoud en de gevolgde route. Waar mogelijk bekijken we technische registratie van de stappen. Een fout kan door broninformatie, zoeken, instructies of modelgedrag ontstaan; het onderzoek maakt die onderdelen afzonderlijk zichtbaar voordat een aanpassing wordt gekozen.
3Herhaal controles na een gerichte verbetering
We passen een afgebakend onderdeel aan en vergelijken de uitkomst met eerdere testgevallen. Radorfa controleert logging, ongewenste neveneffecten en de route naar een medewerker. Verbetering op één vraag mag niet ten koste gaan van belangrijke andere scenario’s. De proef eindigt met onderbouwde bevindingen en concrete open punten voor een besluit over verdere inzet.
Beoordeel het gesprek met uw eigen vragen
Een vraagset, versieoverzicht en evaluatieverslag onderbouwen de beoordeling. Radorfa vermeldt dekking en beperkingen. Een hoge score op de testset bewijst niet dat alle toekomstige gesprekken juist of veilig zullen verlopen.
Houd bronnen en werking onder beheer
We bespreken toevoeging van nieuwe foutvoorbeelden en controle na model- of bronwijzigingen. Radorfa kan afgesproken beheer verzorgen. De testset groeit op basis van relevante praktijkervaring zonder ongecontroleerd vertrouwelijke gesprekken over te nemen.
Bronnen, applicatie en controles
Om resultaten eerlijk te vergelijken, leggen we de modelversie, instructies en gebruikte kennisbronnen per testronde vast. De API-koppeling tussen chatapplicatie en taalmodel wordt ook gecontroleerd: bereikt de vraag het juiste model en komt een foutmelding herkenbaar terug? Een verzoeknummer verbindt de technische registratie met het beoordeelde antwoord.
Zo kan Radorfa een verbindingsfout onderscheiden van een inhoudelijk onjuist antwoord en gericht hertesten.
Welke vraag wilt u beter ondersteunen?
Op welke vragen moet uw chatbot aantoonbaar goed reageren? We helpen een bruikbare testset en beoordeling opstellen.
Bespreek uw AI-chatbot