Regelefterlevnad vid AI-upphandling: Utvärdering av AI-lösningar från tredje part enligt EU:s AI-förordning

Varför AI-upphandling nu är ett efterlevnadsbeslut

Upphandling av AI-lösningar har traditionellt behandlats som ett teknikinköpsbeslut, primärt utvärderat utifrån kapacitet, prestanda, integreringsinsats och kostnad. EU:s AI-förordning förändrar detta i grunden. Enligt förordningen bär organisationer som driftsätter högrisk-AI-system specifika skyldigheter oavsett om de byggt systemet internt eller upphandlat det från tredje part. Driftsättaren kan inte outsourca sina efterlevnadsskyldigheter genom ett leverantörsavtal.

Detta innebär att upphandlingsbeslut om AI-lösningar nu är efterlevnadsbeslut. Att välja en leverantör som inte kan tillhandahålla adekvat teknisk dokumentation, loggningskapacitet, mekanismer för mänsklig tillsyn eller transparensfunktioner kan lämna den driftsättande organisationen oförmögen att uppfylla sina rättsliga skyldigheter.

För europeiska företag som verkar inom reglerade sektorer som finanstjänster, sjukvård, energi eller offentlig förvaltning kräver denna förändring nya upphandlingskriterier, nya due diligence-processer och nya avtalsramverk som adresserar AI-specifika efterlevnadskrav utöver traditionella informationssäkerhets- och dataskyddsbestämmelser.

Ansvarsfördelningen mellan leverantör och driftsättare

EU:s AI-förordning skiljer mellan AI-systemleverantörer och driftsättare. Leverantörer ansvarar för att utforma, utveckla och släppa AI-system på marknaden. De måste säkerställa att högrisk-AI-system uppfyller förordningens väsentliga krav före driftsättning, inklusive riskhantering, datastyrning, teknisk dokumentation, registerföring, transparens, mänsklig tillsyn, noggrannhet och robusthet.

Driftsättare, de organisationer som använder AI-system under sin auktoritet, har sina egna skyldigheter. De måste använda AI-system i enlighet med leverantörens instruktioner, säkerställa mänsklig tillsyn, övervaka systemets drift, rapportera allvarliga incidenter och genomföra konsekvensanalyser för grundläggande rättigheter där det är tillämpligt.

Denna uppdelning skapar en praktisk utmaning vid upphandling. Driftsättaren behöver försäkran om att leverantören har uppfyllt sina skyldigheter, eftersom driftsättarens förmåga att uppfylla sina egna skyldigheter beror på leverantörens efterlevnad. Om leverantören inte har implementerat adekvat loggning kan driftsättaren inte uppfylla sina registerföringsskyldigheter. Om leverantören inte har utformat systemet för mänsklig tillsyn kan driftsättaren inte genomföra meningsfull mänsklig granskning.

Upphandlingsteam måste därför utvärdera leverantörer inte bara utifrån produktegenskaper utan utifrån deras förmåga att demonstrera efterlevnad av leverantörsskyldigheter enligt AI-förordningen.

Due diligence-ramverk för AI-upphandling

En effektiv AI-upphandlings due diligence-process bör utvärdera leverantörer över flera dimensioner som mappar till AI-förordningens krav. Dessa utvärderingar bör genomföras före avtalsundertecknande och revideras periodiskt under hela relationen.

Teknisk dokumentation: Begär leverantörens tekniska dokumentation enligt bilaga IV i AI-förordningen. Denna dokumentation bör beskriva systemets avsedda ändamål, designspecifikationer, utvecklingsmetodik, datakrav, prestandamått, kända begränsningar och användningsinstruktioner. Ofullständig eller vag dokumentation utgör en betydande efterlevnadsrisk för driftsättaren.

Datastyrning: Förstå hur leverantören hanterar träningsdata, valideringsdata och testdata. Utvärdera leverantörens processer för datakvalitetsstyrning, metoder för att upptäcka partiskhet och spårning av dataursprung.

Loggning och spårbarhet: Verifiera att systemet genererar strukturerade loggar som är tillräckliga för att driftsättaren ska kunna demonstrera spårbarhet. Loggar bör som minimum fånga indata, utdata, modellversioner, konfidenspoäng och tidsstämplar. Driftsättaren bör kunna exportera, söka i och behålla dessa loggar oberoende av leverantörens plattform.

Mänsklig tillsyn: Bedöm huruvida systemet stödjer de mekanismer för mänsklig tillsyn som driftsättarens användningsfall kräver. Detta kan inkludera godkännandearbetsflöden, konfidenströsklar som utlöser mänsklig granskning, möjligheter att åsidosätta och användargränssnitt för mänskliga granskare.

Noggrannhet och robusthet: Begär bevisning för systemets prestanda mot relevanta riktmärken, inklusive prestanda vid gränsfall och antagonistiska indata.

Säkerhetsställning: Utvärdera leverantörens cybersäkerhetsåtgärder, inklusive datakryptering, åtkomstkontroller, sårbarhetshantering och incidenthanteringskapacitet.

Avtalskrav för AI-förordningsefterlevnad

Traditionella upphandlingsavtal för programvara och molntjänster adresserar vanligtvis immateriella rättigheter, servicenivåer, dataskydd, ansvar och uppsägning. AI-upphandlingsavtal under AI-förordningen behöver ytterligare bestämmelser som adresserar den unika efterlevnadsdynamiken hos AI-system.

Dokumentationsleveransskyldigheter: Avtalet bör kräva att leverantören levererar och underhåller teknisk dokumentation som uppfyller AI-förordningens bilaga IV-krav. Denna dokumentation bör uppdateras när systemet ändras och levereras i ett format som driftsättaren kan presentera för tillsynsmyndigheter eller revisorer.

Loggning och dataexport: Driftsättaren bör ha avtalsenlig rätt att komma åt, exportera och behålla alla loggar som genereras av AI-systemet. Detta är väsentligt för driftsättarens registerföringsskyldigheter och bör gälla även efter avtalsupphörande.

Ändringsnotifiering: Leverantören bör vara avtalsmässigt skyldig att meddela driftsättaren om alla ändringar som kan påverka systemets riskprofil, inklusive modelluppdateringar, förändringar i träningsdata, arkitekturförändringar och prestandaförsämringar.

Incidentsamarbete: Avtalet bör definiera leverantörens skyldigheter vid en allvarlig incident, inklusive informationsdelning, rotorsaksanalys och samarbete med tillsynsmyndigheter.

Revisionsrättigheter: Driftsättaren bör ha rätt att revidera leverantörens efterlevnad av AI-förordningens skyldigheter eller att anlita en tredjepartsrevisor för detta ändamål.

Varför lokal drift minskar upphandlingsrisken

För organisationer som upphandlar AI-lösningar för högriskändamål minskar lokal drift flera kategorier av upphandlingsrelaterad efterlevnadsrisk avsevärt.

När ett AI-system körs inom organisationens egen infrastruktur har driftsättaren direkt kontroll över var data lagras, vilket eliminerar farhågor om gränsöverskridande dataöverföringar eller databehandling i jurisdiktioner med andra regulatoriska krav. Driftsättaren kontrollerar åtkomsten till inferensloggar och säkerställer att registerföringsskyldigheter kan uppfyllas oberoende av leverantörens plattformstillgänglighet eller datalagringspolicyer.

Lokal drift förenklar också arkitekturen för mänsklig tillsyn. Integrering med organisationens befintliga identitetshantering, arbetsflöden och granskningssystem är enklare när AI-systemet verkar inom samma nätverks- och säkerhetsgräns.

Plattformar som VDF AI är utformade för denna driftsättningsmodell och tillhandahåller modellservering, RAG-kapacitet, agentorkestrering och styrningskontroller som körs helt inom organisationens infrastruktur. Detta tillvägagångssätt ger upphandlingsteam förtroende för att den driftsatta lösningen stödjer hela spektrumet av driftsättarskyldigheter utan att förlita sig på externa molntjänster för kritiska efterlevnadsfunktioner som loggning, åtkomstkontroll och datasuveränitet.

Bygga upphandlingskapacitet för AI-förordningens era

Effektiv AI-upphandling under AI-förordningen kräver samarbete mellan upphandling, juridik, efterlevnad, IT-säkerhet och AI-ingenjörsteamen. Ingen enskild funktion har expertisen att utvärdera alla dimensioner av en AI-leverantörs efterlevnadsberedskap.

Sysart Consulting hjälper organisationer att bygga strukturerade AI-upphandlingsprocesser som integrerar regulatoriska krav i befintliga upphandlingsarbetsflöden. Detta inkluderar att utveckla AI-specifika leverantörsbedömningskriterier anpassade till AI-förordningens skyldigheter, skapa upphandlingschecklistor och utvärderingspoängkort, utarbeta avtalsklausuler som adresserar ansvarsfördelningen mellan leverantör och driftsättare, och utbilda upphandlingsteam i de tekniska och regulatoriska dimensionerna av AI-systemutvärdering.

Det praktiska resultatet är en upphandlingsprocess som identifierar efterlevnadsluckor före avtalsundertecknande snarare än att upptäcka dem efter driftsättning. Organisationer bör granska sitt AI-upphandlingstillvägagångssätt med juridiska team och efterlevnadsteam för att säkerställa anpassning till sin specifika regulatoriska kontext, riskaptit och sektorspecifika krav.

Utvald bild av Egor Komarov på Unsplash.