Waar AI in onze methodiek loopt.
In de Risk Health Check, ons diagnostische instapproduct, zetten we LLM-based tooling in voor drie taken: document-mapping (welke documenten van de klant horen bij welk IIA-criterium), inconsistency-detection (zegt het Internal Audit Charter iets anders dan de Audit Policy?), en standards-matching (hoe scoort dit charter tegen de IIA 2024 Standards-tekst?).
Die drie taken zijn doelbewust gekozen: het zijn lees-intensieve, hoog-volume, laag-creativiteits taken. Precies waar een goed gefinetunede LLM beter en sneller is dan een mens.
Waar AI niet loopt, en waarom.
De conformance-score (Full / General / Partial / Non) en de aanbevelingen blijven mensenwerk. Twee redenen: ten eerste vereist scoring contextkennis die het document niet altijd expliciet maakt (de bedrijfscultuur, de toon van de Chief Audit Executive (CAE) in de stuurgroep, het feit dat de Raad van Commissarissen (RvC) vorige week is afgetreden). Ten tweede staat de IIA-norm dat een EQA wordt uitgevoerd door qualified, independent reviewers, een LLM is dat niet.
De technische kant.
We werken met een lokale RAG-pipeline (Retrieval-Augmented Generation) op een gehoste LLM, niet met een publieke chatbot-API. Klantdocumenten verlaten de juridische omgeving niet. De index wordt per opdracht opgebouwd en na opdracht vernietigd. Auditspoor van elke AI-vraag & -antwoord wordt bewaard zodat we elke geleverde conclusie kunnen reconstrueren.
Verwachting.
AI verlaagt de uren-input van een RHC met circa 40 %. Dat winnen we deels terug in interview-tijd: de gespaarde uren gebruiken we om dieper te kijken naar wat de tooling als afwijking aanmerkte. Het netto-effect: zelfde diepgang, lagere prijs voor de klant, hoger plezier voor de consultant.