La dirbtinio intelekto pagalba programavimas Tai nebėra ateities pažadas ir tapo kasdienybe tūkstančiams kūrėjų komandų. Per kelias sekundes dirbtinio intelekto asistentas gali sukurti visas funkcijas, scenarijus ir net ištisas programas, o tai didina produktyvumą, bet kartu ir riziką.
Ko daugelis organizacijų vis dar nesupranta, tai, kad DI neprisiima jokios atsakomybėsKai kodas nepavyksta, su tuo susiduria techninė komanda. Problema ne tik ta, kad kodas gali būti prastai sukurtas ar sunkiai prižiūrimas; tikrasis iššūkis yra tas, kad daugeliu atvejų jis pasiekia produkciją su rimtomis saugumo spragomis.
Dirbtinio intelekto generuojamas kodas: rekordinis produktyvumas ir nekontroliuojama atakų sritis
Per labai trumpą laiką perėjome prie scenarijaus, kuriame Labai didelė dalis gamybos kodo jau yra kilusi iš dirbtinio intelekto modelių.Tyrimai rodo, kad trečdalis kūrėjų pripažįsta, jog daugiau nei 60 % jų rašomų darbų sukuria išmanieji asistentai, ir kad įmonės jau mato įspūdingą produktyvumo augimą dėl vadinamojo „vibracijos kodavimo“ – raginimais pagrįsto programavimo.
Kita tos monetos pusė yra ta, kad Maždaug pusė automatiškai sugeneruoto kodo turi tam tikrų pažeidžiamumųTai svyruoja nuo SQL injekcijų iki kriptografinių klaidų ir prastai suprojektuotų prieigos kontrolės mechanizmų. Kai kuriose kalbose, pavyzdžiui, „Java“, nustatyta, kad daugiau nei 70 % dirbtinio intelekto siūlomo kodo turėjo saugumo spragų.
Ši situacija sukelia Daugelis organizacijų siunčia programinę įrangą į gamybą, jei jau įtaria, kad ji nėra tobula.Pranešama, kad daugiau nei 80 % komandų prisipažįsta diegusios kodą žinodamos, kad jis nėra visiškai subrendęs, ir beveik visos jos patyrė kokį nors kibernetinio saugumo incidentą, susijusį su minėto kodo pažeidžiamumais.
Dar blogiau, šis reiškinys Šešėlis AIDarbuotojai, naudodami generatyvinius dirbtinio intelekto įrankius be organizacinės priežiūros, kopijuodami ir įklijuodami kodo fragmentus ar net įklijuodami neskelbtiną informaciją į raginimus. Tai atveria duris duomenų nutekėjimui ir tyliam nesaugių komponentų dauginimuisi, kurių vėliau neįmanoma atsekti.
Daugelį šių rizikų dar labiau padidina didžiulis „piliečių kūrėjų“ antplūdisDarbuotojai, neturintys tvirto programinės įrangos inžinerijos išsilavinimo, pasikliauja dirbtiniu intelektu kurdami automatizavimą, mažas vidines programas ar integracijas. Kodas generuoja funkcinius rezultatus, tačiau jam dažnai trūksta net pagrindinių saugumo ir kokybės garantijų.
Pagrindinės saugumo rizikos, susijusios su dirbtinio intelekto sugeneruotu kodu
Dirbtinio intelekto atsiradimas programinės įrangos kūrime nesukūrė naujų pažeidžiamumų, bet padaugino greitį ir apimtį, su kuria atsiranda senos silpnybėsKelios kibernetinio saugumo įmonių analizės sutaria dėl kelių ypač svarbių rizikų, kai komanda pernelyg pasikliauja generatyviniais įrankiais.
Vienas iš labiausiai matomų yra „Vibe kodavimas“ be daugybės testų ar rimtų apžvalgųUžbaigtos funkcijos arba paslaugos generuojamos užklausos metu, paviršutiniškai patikrinamos, siekiant užtikrinti, kad jos „veiktų“, ir tada integruojamos be saugumo testavimo, kolegų peržiūros ar automatinės analizės. Tai leidžia praslysti pagrindinėms pažeidžiamybėms, kurias būtų aptikęs bet koks minimaliai griežtas auditas.
Taip pat nerimą kelia ataques a la cadena de suministro de softwareDirbtinio intelekto modeliai linkę rekomenduoti trečiųjų šalių priklausomybes, kad išspręstų įprastas problemas. Jei šios priklausomybės nėra stebimos ir analizuojamos naudojant programinės įrangos sudėties analizės (SCA) įrankius, tai atveria kelią kenkėjiškų bibliotekų ar pažeistų versijų įdiegimui į tūkstančius projektų vienu veiksmu.
La Nuolatinio išorinių paketų stebėjimo ir audito trūkumas Tai leidžia sistemose paleisti modulius su užmaskuotu kodu arba įtartinu elgesiu nesukeliant įspėjimų. Kai dirbtinis intelektas taip lengvai siūlo ir integruoja šiuos komponentus, kenkėjiškų programų, užmaskuotų kaip „nekenksminga“ biblioteka, atsiradimo rizika smarkiai išauga.
Kitas subtilus frontas yra Kalbos modelių integravimas su duomenų bazėmis ir vidinėmis sistemomisLLM prijungimas prie įmonės informacijos be tinkamų kontrolės priemonių atveria duris paskatinti injekcijas ir apsinuodijimo atakas: kenkėjiškas instrukcijas, paslėptas duomenyse ar pranešimuose, kurios verčia modelį atskleisti paslaptis, apeiti politiką ar atlikti netinkamus veiksmus.
Be to, buvo aptikta: tūkstančiai aktyvių prisijungimo duomenų ir paslapčių viešuosiuose duomenų rinkiniuose, naudojamuose modeliams mokyti iš dirbtinio intelekto. API raktai, slaptažodžiai ir žetonai galiausiai įterpiami į saugyklas, forumus ar kodo pavyzdžius ir gali vėl pasirodyti modelio atsakymuose arba jais gali pasinaudoti užpuolikai, analizuodami šiuos duomenų rinkinius.
Negalime pamiršti problemos šaknų: Saugumas projektuojant išlieka iš esmės nepasiekiamasDauguma kūrėjų pripažįsta, kad daugiau laiko skiria klaidų taisymui nei saugumo reikalavimų įtraukimui nuo pat projektavimo etapo. Aplinkose, kuriose svarbiausia yra pristatymo greitis, verslo spaudimas verčia kūrėjus „išleisti funkcionalumą dabar“, o saugumą atidėti vėlesniam laikui... jei toks laikas kada nors ateis.
Informacinių technologijų vadovų, architektų ir ekspertų vizija: priimti dirbtinį intelektą, bet su kontrole
Įvairiuose profesiniuose susitikimuose ir apskritojo stalo diskusijose bankininkystės, pramonės, technologijų konsultacijų ir paslaugų įmonių kibernetinio saugumo vadovai sutaria, kad Dirbtinis intelektas kodo kūrime nebėra pasirenkamasJis naudojamas masiškai ir joks protingas CISO nesvarstytų galimybės jo visiškai uždrausti.
Ką jie svarsto, tai Kaip sumažinti riziką nestabdant inovacijųDaugelis propaguoja saugaus kūrimo strategijas, pagrįstas „posūkio į kairę“ metodu: saugumo testavimas, SAST analizė ir priklausomybių peržiūra atliekami ankstyviausiuose programinės įrangos gyvavimo ciklo etapuose, kai kūrėjas (arba dirbtinis intelektas) rašo pirmąsias eilutes.
Šis pakeitimas daro prielaidą, kad Kibernetinio saugumo komandos nebeatvyksta pačioje pabaigoje, kai viskas jau sukurta ir pradėta gaminti.Užuot tiesiog sakę, kad reikia ką nors išmesti ir sukurti iš naujo, jie palaiko kūrimą nuo pat pirmojo įvykdymo, integruodami įrankius, kurie analizuoja kodą realiuoju laiku ir teikia tiesiogines rekomendacijas.
Organizacijose, kuriose kūrimas yra perduodamas išorės tiekėjams arba patentuoto kodo kiekis nėra didžiulis, saugumo vadovai reikalauja matomumas, kaip tas kodas generuojamasJie nori garantijų, kad tiekėjai taiko saugias praktikas, aklai nepasikliauja dirbtinio intelekto asistentais ir prieš pristatymą nuskaito kodą bei atlieka oficialias peržiūras.
Kiti informacijos saugumo vadovai pradeda vertinti kūrėjus kaip dirbtinio intelekto generuojamų elementų „validatoriai“Užuot buvę kiekvienos eilutės autoriais, vaidmuo keičiasi: tai ne tik kodo kūrimas, bet ir jo supratimas, kvestionavimas, peržiūra ir modelio pasiūlymų tobulinimas, ypač tokiose jautriose srityse kaip autentifikavimas, autorizavimas, šifravimas ar asmens duomenų tvarkymas.
Įmonėse, turinčiose daug senosios programinės įrangos, dėmesys sutelkiamas į kontroliuoti pažeidžiamumus, atsirandančius trečiųjų šalių bibliotekose ir senuose sluoksniuose, kurių niekas nedrįsta liesti. Čia automatizuoti analizės įrankiai ir dirbtinio intelekto agentai, besispecializuojantys saugumo srityje, pradeda padėti nustatyti rizikas ir nustatyti prioritetus, kuriuos reikia pataisyti pirmiausia.
Dirbtinis intelektas kaip gynybinis sąjungininkas: aptikimas, prioritetų nustatymas ir reagavimas
Ta pati technologija, kuri palengvina nesaugaus kodo rašymą, radikaliai keičia ir tai, kaip nuo jo ginamės. Saugumo operacijų centruose (SOC), SIEM platformose ir kodo analizės įrankiuose Generatyvus dirbtinis intelektas ir gilaus mokymosi modeliai tampa pagrindiniais komponentais.
Dirbtinio intelekto pagrindu veikiantys aptikimo varikliai Jie neapsiriboja statinių parašų ar šablonų paieškaJie geba analizuoti kodo elgseną, vykdymo srautus ir semantinius ryšius tarp funkcijų. Apmokyti dirbti su didžiulėmis saugyklomis ir realaus pasaulio grėsmių duomenimis, jie identifikuoja pažeidžiamumus ir kenkėjišką logiką net tada, kai kodas parašytas netradiciniais stiliais arba naudojant kelias kalbas.
Be to, šie modeliai siūlo grėsmės kontekstas ir išmanusis prioritetų nustatymasNe visi pažeidžiamumai reikalauja vienodų pastangų: išnaudojamas kritinės paslaugos, kuri yra veikiama interneto, trūkumas yra daug svarbesnis nei vidinės priemonės klaida. Dirbtinis intelektas gali susieti informaciją apie pažeidžiamumą, išteklių svarbą, išnaudojimo istoriją ir faktinę konfigūraciją, kad nustatytų įspėjimų prioritetus ir sutelktų komandą į tai, kas yra tikrai pavojinga.
Kita stiprioji pusė yra nuolatinio mokymosi ir prisitaikymo įgūdžiaiTobulėjant užpuolikų taktikai ir keičiantis kodavimo stiliams, modeliai yra koreguojami, įtraukiant naujus atakų vektorius ir taisykles, surinktas iš realių incidentų. Tai paverčia gynybą gyvu organizmu, kuris auga kartu su pačia programinės įrangos ekosistema.
Incidentų reagavimo srityje generatyvinis dirbtinis intelektas suteikia galimybę automatizuoti didelę dalį pradinių veiksmųĮvykių kategorizavimas, atsako scenarijų generavimas, paveiktų sistemų izoliavimas, rekomendacijos dėl rizikos mažinimo ir aiškių ataskaitų techninėms ir valdymo komandoms rengimas. Visa tai sutrumpina reagavimo laiką, užkerta kelią klaidoms ir atleidžia analitikus nuo pasikartojančių užduočių.
Taip pat naudojami generatyviniai modeliai imituoti kibernetines atakas ir apmokyti komandas su realiais scenarijais. Dirbtinis intelektas sukuria įmanomas sukčiavimo kampanijas, sudėtingas atakų sekas arba anomalius elgesio modelius, kurie verčia analitikus reaguoti ir tobulinti savo sprendimų priėmimo galimybes esant spaudimui.
Kenkėjiška programinė įranga ir dirbtinis intelektas: ažiotažas, dabartiniai apribojimai ir galima evoliucija
Kartu su gynybinio dirbtinio intelekto iškilimu atsirado ir kitų technologijų kenkėjiškų programų prototipai, integruojantys kalbos modelius arba kurie naudoja dirbtinio intelekto paslaugas dinaminiams pokyčiams. Tokie eksperimentai kaip „BlackMamba“, „EyeSpy“ ar kirminas „Morris II“ parodė, kad techniškai įmanoma naudoti LLM kenkėjiškam kodui generuoti vykdymo metu, įvertinti taikinius arba skleisti atakas per įterptas instrukcijas.
Vis dėlto keli atvirkštinės inžinerijos ir „raudonųjų komandų“ projektų ekspertai atkreipia dėmesį, kad Kol kas šie pavyzdžiai yra labiau techniniai įdomybės nei neįveikiamos grėsmės.Jų demonstruojamos galimybės – polimorfizmas, vykdymas atmintyje, kodavimas ar taikinio pasirinkimas – jau egzistavo pažangiose kenkėjiškose programose ir vis dar gali būti aptiktos naudojant dabartines apsaugos priemones.
Viena iš priežasčių yra ta Modelių, apmokytų naudojant viešuosius duomenis, generuojamas kodas paprastai yra mažiau sudėtingas nei kodas, specialiai parašytas užpuoliko eksperto.LLM remiasi išmoktais modeliais; jie paprastai nekuria visiškai naujų kenkėjiškų programų architektūrų nuo nulio ir dažnai sukuria vidutiniškus, nereikalingus arba lengvai pasirašomus fragmentus.
Be to, Kad dirbtinio intelekto pagrindu sukurta kenkėjiška programa būtų vertinga, ji turi užtikrinti aiškią investicijų grąžą. tiems, kurie jį kuria. Kaip ir su išpirkos reikalaujančiomis programomis ar kriptovaliutų vagyste, tam tikri metodai nebus plačiai naudojami, kol jie nebus sklandžiai integruoti į teisėtą programinę įrangą ir nebus sukurta brandi infrastruktūra juos palaikyti.
Nepaisant to, ekspertai sutinka, kad, jei modeliai ir toliau tobulės dabartiniu tempuAteis laikas, kai jie iš tiesų galės padėti sukurti sudėtingesnes ir prisitaikančias grėsmes. Tokiu atveju reikės dar labiau sustiprinti žmonių priežiūrą, apsaugoti modelius nuo manipuliavimo ir užtikrinti viso dirbtinio intelekto kūrimo proceso saugumą.
Užtikrinti visą dirbtinio intelekto gyvavimo ciklą: duomenis, modelius ir procesų valdymą
Kalbant apie kibernetinį saugumą dirbtinio intelekto sugeneruotame kode, vien tik peržiūrėti saugyklą nepakanka: Visas dirbtinio intelekto vamzdynas turi būti apsaugotas nuo pradžios iki galo.nuo duomenų rinkimo iki modelio diegimo ir priežiūros.
Pirmasis ramstis yra mokymo duomenų ir raginimų apsaugair saugių platformų, tokių kaip nemokamos operacinės sistemosJei duomenų rinkiniuose yra neskelbtinos, neanoniminės informacijos arba jei vartotojai į užklausas įklijuoja slaptus ir asmeninius duomenis, kyla informacijos nutekėjimo, prisijungimo duomenų pakartotinio atsiradimo atsakymuose ar net masinių duomenų nutekėjimo rizika, jei dirbtinio intelekto teikėjas yra pažeistas.
Antrasis ramstis yra modelių ir algoritmų vientisumasTokios atakos kaip duomenų užkrėtimas gali užteršti mokymo duomenis ir iškreipti rezultatus; kiti vektoriai siekia išnaudoti išvadų API pažeidžiamumus, kad išgautų modelį arba pakeistų jo elgseną. Būtina griežtai kontroliuoti prieigą, šifruoti, stebėti ir nuolat vertinti.
Trečiasis kūrinys yra viso vamzdyno valdymas ir priežiūraTai apima stebėjimą, kas naudoja dirbtinį intelektą, kokiais tikslais, kokio tipo kodą jis generuoja, kokias peržiūras jis atlieka ir kaip jo rezultatai integruojami į gamybos sistemas. Be šio matomumo šešėlinis dirbtinis intelektas plinta, o rizikos valdymas tampa neįmanomas.
Geroji šios srities praktika apima tvirtos duomenų politikos, stiprus šifravimas, daugiafaktorinis autentifikavimas, mažiausių privilegijų principai prieiga prie modelių, apsauginiai turėklai pagal nurodymus, privalomos rankinės peržiūros ir nuolatinis įvesties, išvesties bei realaus poveikio aplinkai stebėjimas.
SHIELD sistema: aiškių dirbtinio intelekto programavimo ribų nustatymas
Siekdamos visa tai pritaikyti praktinėse kontrolės priemonėse, kai kurios saugumo konsultacijų įmonės pasiūlė konkrečias sistemas, skirtas sumažinti „vibe kodavimo“ rizikąVienas išsamiausių yra SHIELD sistema, kuri šešiomis raidėmis apibendrina pagrindinius atsakingo dirbtinio intelekto naudojimo kūrimo procese principus.
Raidė „S“ žodyje „SHIELD“ reiškia Pareigų atskyrimasTikslas – užkirsti kelią dirbtinio intelekto agentų mišrioms teisėms, kurios pasiekia gamybinę aplinką. Protingas požiūris yra apriboti jų taikymo sritį iki kūrimo ir testavimo, neturint galingų prisijungimo duomenų ar tiesioginės prieigos prie realių duomenų bazių.
„H“ raidė atitinka Žmogus grandinėjeTai reiškia, kad dirbtinio intelekto sugeneruotą kodą visada turi peržiūrėti ir patvirtinti kvalifikuoti darbuotojai, ypač kai jį naudoja neprofesionalūs kūrėjai. Jokių reikšmingų pakeitimų negalima sujungti be prižiūrimos „pull request“.
„Aš“ nurodo į Įvesties ir išvesties patvirtinimasBūtina aiškiai atskirti patikimas instrukcijas nuo nepatikimų duomenų, išvalyti raginimus, kontroliuoti, ko prašoma iš modelio, ir pateikti rezultatą tokioms priemonėms kaip SAST prieš integruojant jį į kodų bazę.
„E“ raidė sutelkia dėmesį į Saugumo požiūriu pagrįsti pagalbiniai modeliaiUžuot pasikliavus vienu universaliu asistentu, patartina jį papildyti konkrečiais įrankiais, skirtais slaptam nuskaitymui, valdymo patikrinimui, SCA, fantomų priklausomybių aptikimui ir infrastruktūros kaip kodo konfigūracijos patikrinimui.
„L“ raidė reiškia „Mažiausios savarankiškumo“ arba minimalios savarankiškumo principasDirbtinio intelekto agentai turėtų veikti su kuo mažesnėmis teisėmis: be prieigos prie slaptų failų, griežtai ribojant destruktyvias komandas ir neturint galimybės automatiškai vykdyti pakeitimų kritinėse aplinkose.
Galiausiai, „D“ reiškia Gynybinės techninės kontrolės priemonėsPrieš diegiant būtina paleisti SCA, išjungti visus automatinio diegimo mechanizmus, kurie neleidžia žmogui įsikišti, priverstinai įdiegti saugos etapus ir kruopščiai užregistruoti kiekvieną veiksmą, atliekamą gavus dirbtinio intelekto pasiūlymą.
Šio tipo rėmeliai skirti labai paprastam tikslui: Pasinaudokite dirbtinio intelekto siūlomu pagreičiu neprarasdami kontrolėsArba, tiesiau tariant, asistentas turėtų parašyti daugiau eilučių per minutę, tačiau atsakomybė, kriterijai ir sprendimai turėtų likti žmonių komandos rankose.
Visa ši nauja ekosistema – su dirbtiniu intelektu, dideliu greičiu generuojančiu kodu, modeliais pagrįstomis apsaugos sistemomis, tokiomis kaip SHIELD, ir kultūra, draskoma tarp skubėjimo ir apdairumo, – verčia organizacijas bręsti. Tie, kurie sugebės suderinti patikimą inžinerinę praktiką, nuolatinius kibernetinio saugumo mokymus, griežtą žmonių priežiūrą ir sumanų dirbtinio intelekto naudojimą, bus tie, kurie leis savo kodui... greitai pagaminamas, patikimas, saugus ir atitinka verslo tikslusnepakliūdami į spąstus tapti tiesiog greitais operatoriais ar nuolat gesinti apsaugos gaisrus.
