„Amazon“ netyčia išleido 1,8 mln. JAV dolerių naudodama „Claude“ paprastai programavimo užduočiai

„Amazon“ 1,8 mln. JAV dolerių sąskaita atsirado todėl, kad paprastai programavimo užduočiai buvo naudotas „Anthropic“ modelis „Claude“, o vidinės AI naudojimo metrikos laiku nesustabdė kaštų augimo. Pagal „Tom’s Hardware“ aprašytą atvejį, ši užduotis numatytą biudžetą viršijo 860 %, todėl incidentas tapo ne AI pajėgumo, o išlaidų kontrolės problema.

1,8 mln. JAV dolerių suma rodo, kad biudžeto riba neveikė praktiškai

860 % biudžeto viršijimas reiškia, kad faktinės išlaidos buvo beveik dešimt kartų didesnės nei planuota. Jei galutinė suma siekė 1,8 mln. JAV dolerių, pradinis biudžetas aritmetiškai turėjo būti maždaug 187,5 tūkst. JAV dolerių. Tai nėra nedidelis nukrypimas.

Tokio masto skirtumas svarbus todėl, kad kalbama ne apie ilgalaikį infrastruktūros projektą ar didelę produktų migraciją. Atvejis siejamas su paprasta kodavimo užduotimi, kuriai buvo pasitelktas „Claude“. Būtent dėl to ši istorija tapo ryškiu pavyzdžiu, kaip greitai AI įrankių naudojimas gali tapti brangus, kai nėra pakankamai griežtų ribojimų.

Paprasta kodavimo užduotis tapo brangi, nes AI modeliai kainuoja pagal naudojimą

Dideli kalbos modeliai, tokie kaip „Claude“, paprastai apmokestinami pagal naudojimo apimtį: užklausas, apdorojamą kontekstą ir sugeneruotą tekstą. Programavimo užduotyse tai gali išaugti greitai, nes modelis skaito kodą, generuoja pataisas, tikrina klaidas ir gali kartoti veiksmus.

Praktiškai tai reiškia, kad net paprasta užduotis gali tapti brangi, jei procesas sukasi ciklais arba jam leidžiama analizuoti daug kodo be aiškios ribos. Šiuo atveju problema nėra vien tai, kad „Claude“ buvo naudojamas. Problema ta, kad naudojimas pasiekė lygį, kurio biudžetas akivaizdžiai nebeatlaikė.

Vidinės „Amazon“ AI metrikos parodė ne teorinę, o realią sąnaudų riziką

„Tom’s Hardware“ atvejį sieja su vidinėmis „Amazon“ AI naudojimo metrikomis. Tai svarbi detalė, nes tokie duomenys rodo ne bendrą nuomonę apie dirbtinį intelektą, o konkrečius kaštus konkrečioje organizacijoje. Kitaip tariant, čia kalbama apie faktinę sąskaitą, o ne apie prognozę.

Didelėse technologijų bendrovėse AI įrankiai gali būti naudojami tūkstančiuose darbo eigų. Todėl net vienas netinkamai suvaldytas procesas gali parodyti platesnę riziką: jeigu sąnaudų stebėjimas nėra pakankamai detalus, brangus incidentas gali būti pastebėtas tik po to, kai pinigai jau išleisti.

„Amazon“ ryšys su „Anthropic“ daro incidentą ypač reikšmingą

Šis atvejis sulaukė dėmesio ir dėl to, kad „Claude“ nėra atsitiktinis trečiosios šalies įrankis „Amazon“ ekosistemoje. „Claude“ kuria bendrovė „Anthropic“, o jos modeliai yra prieinami per „Amazon Web Services“ paslaugą „Amazon Bedrock“. Todėl incidentas įvyko ne periferijoje, o labai arti vienos svarbiausių „Amazon“ AI krypčių.

Tai nekeičia pagrindinio fakto: modelis gali būti naudingas programuojant, tačiau jo naudojimas turi būti matuojamas taip pat griežtai kaip debesijos resursai, duomenų saugyklos ar skaičiavimo pajėgumai. AI užklausa nėra nemokama vien todėl, kad ji atrodo kaip paprastas pokalbis su sistema.

Atvejis įrodo, kad AI programavime reikia ne tik prieigos, bet ir kontrolės

„Amazon“ incidentas rodo, kad įmonėms nepakanka leisti programuotojams naudoti AI įrankius. Reikia numatyti ribas: užduoties biudžetą, maksimalų užklausų kiekį, automatinį stabdymą viršijus sąnaudų slenkstį ir atsakomybę už ilgai veikiančius procesus.

Kitaip tokia užduotis gali atrodyti maža techniniu požiūriu, bet tapti didele finansine klaida. Būtent tai ir parodo 1,8 mln. JAV dolerių sąskaita: AI programavimo įrankiai gali pagreitinti darbą, tačiau be realaus laiko kontrolės jie gali labai greitai viršyti planuotą biudžetą.

Šaltiniai: https://www.tomshardware.com/tech-industry/artificial-intelligence/amazon-accidentally-spent-usd1-8-million-using-claude-for-menial-coding-task-went-860-percent-over-budget-catastrophically-expensive-coding-blunders-discovered-in-internal-amazon-ai-usage-metrics