Wat kunnen we leren van de operationele kant van ChatGPT?

Gepubliceerd op 2024-11-28 door William Visterin

Aandachtspunten voor AI bij cloudoperaties In de IT-wereld is het al generatieve AI wat de klok slaat. In diverse omgevingen, bijvoorbeeld bij cloudoperaties, kan het zeker een meerwaarde zijn. “Maar bedrijven moeten zich realiseren dat het ook kan leiden tot nadelen. Denk aan te veel applicaties, schaalproblemen en kostenoverschrijdingen.”

De snelheid waarmee generatieve AI zich ontwikkelt maakt dat we moeten bepalen hoe we dit effectief kunnen beheren en hoe we eventuele negatieve gevolgen kunnen beperken. Cloud- & AI- expert en -auteur David Linthicum roeit tegen de stroom in en stelde zijn top drie van (mogelijke) nadelen van generatieve AI op. In zijn geval: uitdagingen rond AI die cloudops-professionals moeten begrijpen en beheren.

Dit artikel verscheen oorspronkelijk in SAI Update 15, het digitaal magazine van SAI. Leden van SAI kunnen het magazine integraal lezen.

1. Nood aan (veel) meer IT-resources

Het meest extreme voorbeeld van de mogelijke kosten van Gen AI-systemen vinden we bij ChatGPT zelf. Dat blijkt, althans op operationeel vlak, een behoorlijke kostenpost voor eigenaar OpenAI. Het bedrijf moet namelijk zowat 700.000 dollar per dag betalen om ChatGPT met GPT 3.5 draaiende te houden. Volgens Windows Central heeft OpenAI sinds de introductie van ChatGPT al 540 miljoen dollar aan verlies moeten incasseren. Eén query kost zo ongeveer 36 dollarcent. De kosten van Dall-E en GPT 4 zijn daarbij niet ingegrepen. Hoewel OpenAI enkele betaalde formules voor ChatGPT aanbiedt, dekken de inkomsten de kosten niet.

Ook al loopt het (hopelijk) niet zo’n vaart. Maar wat voor ChatGPT geldt, telt in zekere zin ook voor de bedrijfstoepassingen. Generatieve AI-systemen kunnen namelijk een aanzienlijke hoeveelheid reken- en opslagresources vereisen, meer dan momenteel beschikbaar is binnen organisaties. “Hoe je die bronnen inzet om meer schaal te genereren, is niet zo eenvoudig als het inschakelen van meer opslag- en computerdiensten”, stelt David Linthicum op Infoworld.

Er moet volgens hem nagedacht worden over het vinden en inzetten van meer middelen om het snelgroeiende gebruik van generatieve AI-gebaseerde systemen te ondersteunen en deze te schalen. “Het is meestal de taak van de ops-teams om het juiste aantal resources op de juiste manier in te zetten, zodat de mogelijkheden van de toepassingen niet beperkt worden.”

Al is het niet altijd eenvoudig om op te schalen, iets wat ook ChatGPT en OpenAI ondervindt. Zo heeft OpenAI AI-accelerators nodig om op grote schaal inferentie uit te voeren of nieuwe modellen te trainen. Maar een tekort aan dergelijke chips zou de vooruitgang belemmeren.

2. Kostenoverschrijdingen

Een vaart zoals bij ChatGPT en hun verliezen zal het waarschijnlijk niet lopen. Maar veel bedrijven kijken (binnenkort) aan tegen een piek in het geld dat wordt uitgegeven om generatieve AI-systemen te ondersteunen. Dat is meer een zakelijke dan een technische kwestie, oppert Linthicum. “Bedrijven moeten begrijpen hoe en waarom clouduitgaven worden gedaan en welke zakelijke voordelen ze terugkrijgen. Dan kunnen de kosten opgenomen worden in vooraf gedefinieerde budgetten.”

Dit is een heet hangijzer voor bedrijven die grenzen stellen aan clouduitgaven. “De line-of-business ontwikkelaars willen graag generatieve AI-systemen gebruiken, meestal om geldige zakelijke redenen. Maar de kosten kunnen snel flink oplopen”, stelt hij. “In veel gevallen is generatieve AI wat de coole kinderen tegenwoordig gebruiken, maar het is vaak niet te verantwoorden.”

Zijn devies is duidelijk. “Generatieve AI wordt soms gebruikt voor eenvoudige tactische taken die prima zouden kunnen worden uitgevoerd met meer traditionele ontwikkelingsmethoden. Deze overmatige toepassing van AI is al een probleem sinds de opkomst van AI”, stelt hij. “De realiteit is dat deze technologie alleen te rechtvaardigen is voor sommige bedrijfsproblemen. Maar het is populair en gehypet – en wordt dus overmatig gebruikt.”

Intussen kijken de grote cloudproviders wel reikhalzend uit naar de mogelijkheden (en inkomsten) van AI. “Tot nu toe zijn AI-technologieën, en de integratie ervan in bestaande producten, nog niet op grote schaal gecommercialiseerd. Waardoor ze dus nog geen significante impact hebben op de inkomsten van cloudproviders”, aldus Yi Zhang, onderzoeksanalist bij Canalys. “Maar AI vertegenwoordigt een belangrijke drijfveer voor cloudinvesteringen in de toekomst. Alle grote cloudleveranciers blijven zwaar investeren in AI-technologieën”, weet de analist. De strijd tussen bijvoorbeeld Microsoft en Alphabet (Google) om de hegemonie in AI zal de komende maanden verder oplaaien.

3. Wildgroei aan cloudapplicaties

Door de verdere opmars van AI en de mogelijkheden daarrond kunnen we, met behulp van generatieve AI-ondersteunde ontwikkeltools, snel applicaties bouwen. Ook no-code- of low-code-toepassingen dragen daartoe bij. “Maar het aantal gebruikte applicaties, die allemaal hun beheer vereisen, kan gemakkelijk uit de hand lopen. En dat zie ik als een groot probleem”, zo stelt David Linthicum.

Op het eerste gezicht een opmerkelijke stelling. Natuurlijk is het goed om het uitrollen van applicaties te versnellen zodat het overeenkomt met de snelheid van de bedrijfsbehoeften. Je wilt niet dat organisaties met hun applicatieachterstand beperkt worden in hun mogelijkheden en groei. Maar nu gaat de slinger de andere richting uit. “Ik zie een bijna roekeloze benadering van applicatieontwikkeling”, vindt Linthicum, die de wildgroei aan applicaties momenteel zelfs het grootste nadeel vindt. “Het bouwen en toepassen van deze systemen neemt slechts enkele dagen of soms een paar uur in beslag. Bedrijven denken niet goed na over de holistische rol van applicaties en veel applicaties zijn speciaal gebouwd voor een tactische behoefte en zijn vaak overbodig.”

Zo’n wildgroei aan applicaties heeft ook concrete gevolgen en nadelen voor de IT-teams zelf. Niet alles wat zij doen, wordt door deze evolutie even nuttig of efficiënt. “Sommige cloudops-teams proberen soms zelfs drie of vijf keer zo veel applicaties en gekoppelde databases te beheren als ze zouden moeten.” Of hoe generatieve AI cloudoperaties zeker kan helpen, al zijn er nog enkele aandachtspunten. Bij AI en de cloud reiken de bomen niet tot in de hemel.