Wat is confidence?

Confidence, ookwel vertrouwen genoemd, betekent eigenlijk hoe goed de AI denkt het juiste antwoord te hebben op basis van voorgaande data. Dit betekent dat de AI een inschatting maakt van hoe betrouwbaar het antwoord is en dit wordt weergegeven als een getal tussen de 0 en 1. Je kan het vergelijken met procenten. Dus een vertrouwensscore van 0.873 betekent dat door de AI de kans op het juiste antwoord is ingeschat op 87,3%. Je dan gelijk hoe betrouwbaar het antwoord van de AI is en kan zelf bepalen of je het antwoord vertrouwt of dat je het zelf controleert. Je kan confidence als een soort drempel gebruiken, bijvoorbeeld door te stellen dat antwoorden met minder dan 0,850 nogmaals verwerkt moeten worden. Je kan zelf bepalen hoe hoog of laag je de drempel instelt. De confidence score zit standaard in de Azure AI modellen verwerkt.

Het belangrijkste is dat een bedrijf bepaalt voor henzelf wat een geaccepteerde foutmarge is. Hoe hoger zij de drempel stellen, hoe meer input gecontroleerd moet worden. Dit voorkomt eventueel fouten verderop in het proces, maar betekent ook meer werklast. Door een lagere score te accepteren, versoepelen ze het proces, maar betekent eventueel wel fouten verderop in het proces. Ieder bedrijf zal dus zelf een kosten – batenanalyse moeten maken en beslissen wat voor henzelf een acceptabele uitkomst is.

Wat is het voordeel van confidence?

Confidence heeft als grootste voordeel dat je direct een inschatting kan maken van hoe correct het antwoord is. Het is duidelijk of je de verzamelde data kunt vertrouwen of dat je het liever door een persoon laat controleren. Het maakt het proces soepeler, want niet alles hoeft gecontroleerd te worden als de confidencescore hoog genoeg is. Alleen de uitkomsten met een te lage score moeten gecontroleerd worden. De lage scores worden gecontroleerd, voordat de gegevens verder in het proces gebruikt worden, terwijl de hoge scores gelijk doorgezet kunnen worden.

Daarnaast kun je de confidence score ook gebruiken in het beslissingsproces. Bijvoorbeeld door lage scores direct nog een keer te laten verwerken. Meestal maakt dit weinig uit voor het uiteindelijke resultaat, want de uitkomsten en de vertrouwensscores zijn vaak vergelijkbaar, maar iedere lage uitslag die bij een tweede poging een betere score krijgt, is er eentje die niet meer gecontroleerd hoeft te worden.

De confidence score geeft gebruikers en bedrijven ook meer zekerheid. Je kan controleren hoe betrouwbaar het antwoord is. Lage scores kunnen eruit gehaald worden of nagelopen worden, terwijl hoge scores direct doorgezet kunnen worden. Je voorkomt hiermee dat fouten in het proces terechtkomen.

Hoe kun je het toepassen? 

Stel je maakt een AI model in Javascript dat bonnetjes interpreteert. De gedachte bij het AI model is dat medewerkers van een bedrijf bonnetjes kunnen fotograferen en uploaden. Vervolgens worden deze bonnetjes verwerkt in de bedrijfsadministratie door de naam van de winkel, de btw en het totale bedrag eruit te halen. Deze worden vervolgens in een Excel bestand geupload, waarna ze naar de financiële afdeling worden doorgezet. Er is gekozen voor een confidence score van minimaal 0.900, ofwel 90%.

Het bedrijf zou iedereen foto’s kunnen laten maken en doorsturen naar de betreffende persoon die het afhandelt. Het risico van handmatig alle bonnetjes verwerken is dat er fouten gemaakt worden bij het overtypen. Een oplossing is door middel van Azure AI de gegevens automatisch laten interpreteren. De voorgeprogrammeerde modellen van Microsoft halen dan direct de gegevens eruit.

In je Azure omgeving maak je een Azure AI service en er is gekozen voor een vertrouwen van minimaal 90% op alle drie de vlakken, de naam van de winkel, de btw en het totale bedrag. Onderstaande code zou gebruikt kunnen worden om de rij door te kleuren als er minimaal één waarde is die een confidence heeft van minder dan 0.900.