„OpenAI“ žengė dar vieną žingsnį integracijos link. dirbtinis intelektas su kasdieniu kompiuterio naudojimu visiškai atnaujindama „Codex“ – savo darbalaukio kodo agentą. Įrankis, anksčiau žinomas daugiausia dėl programavimo pagalbos, dabar tampa asistentu, galinčiu tvarkyti programas, įsiminti nuostatas ir beveik sklandžiai valdyti projektus.
Šiuo atnaujinimu Samo Altmano vadovaujama bendrovė priartina savo planą sukurti Darbalaukio „superprograma“, sujungianti „ChatGPT“, „Codex“ ir jūsų „Atlas“ naršyklęŠiuo žingsniu siekiama supaprastinti naudotojo patirtį, sutelkti išteklius vienoje darbo srityje ir varžytis su tokiais konkurentais kaip „Anthropic“, ypač programinės įrangos kūrimo aplinkoje ir pažangioje automatizavimo srityje.
„Codex“ išmoksta naudotis kompiuteriu kaip ir bet kuris kitas vartotojas
Vienas ryškiausių pokyčių yra tai, kad „Codex“ dabar gali valdyti kompiuterį foneAgentas gali matyti, kas rodoma ekrane, judinti savo žymeklį, spustelėti, rašyti tekstą ir reaguoti į tai, kas vyksta įdiegtose programose, netrukdydamas vartotojui atlikti veiksmų su pele ar klaviatūra.
Ši galimybė leidžia keliems „Codex“ agentams dirbti kartu lygiagrečiai toje pačioje komandojeTai apima testų atlikimą, konfigūracijų keitimą arba pasikartojančių užduočių vykdymą, kol asmuo tęsia savo įprastą veiklą. Tai atveria duris automatizuoti darbo eigas, kurioms anksčiau reikėjo nuolatinės priežiūros, pavyzdžiui, programos testavimą po kiekvieno kodo pakeitimo arba sąsajos veiksmų kartojimą.
„OpenAI“ siūlo šią funkciją kaip būdą, kuriuo asistentas galėtų dirbti su įrankiai be API arba tiesioginės integracijos, kurios yra įprastos daugelyje darbalaukio programų. „Codex“, „matydamas“ ekraną ir valdydamas žymeklį, gali sąveikauti su šiomis programomis taip pat, kaip tai darytų žmogus, nors kol kas tai daroma kontroliuojamai ir ypatingą dėmesį skiriant saugumui.
Pasak bendrovės, iš pradžių kompiuteriu naudotis bus galima „macOS“ per „Codex“ darbalaukio programą, susieta su „ChatGPT“ paskyra. „Windows“ versija pasirodys vėliau, kai bus patikrintas našumas ir pritaikytos funkcijos „Microsoft“ aplinkai.
Europos ir Jungtinės Karalystės atveju „OpenAI“ patvirtino, kad kompiuterio valdymas, išplėstinis pritaikymas, kontekstiniai pasiūlymai ir atmintis Jos bus aktyvuotos vėliau. Taip yra todėl, kad šias funkcijas reikia pritaikyti prie duomenų apsaugos reglamentų, o tai ypač sudėtingas reikalavimas Europos Sąjungoje ir Didžiosios Britanijos rinkoje.
Integruota naršyklė ir tiesioginis darbas tinklalapiuose
Atnaujinimas taip pat sustiprina „Codex“ ryšį su žiniatinkliu dėl... naršyklė, integruota į pačią programąUžuot tiesiog gavęs bendrinius tekstinius nurodymus, agentas gali gauti komandas tiesiogiai konkrečiuose puslapio elementuose.
Pavyzdžiui, front-end kūrimo procese vartotojas gali Pasirinkite žiniatinklio komponentą ir aprašykite pakeitimą. Vartotojas nori ką nors padaryti (pvz., pakeisti bloko spalvą, teksto dydį ar išdėstymą), o „Codex“ supranta nurodymą tame konkrečiame vaizdiniame kontekste. Taip išvengiama būtinybės rašyti ilgus raginimus, paaiškinančius, kurią svetainės dalį reikia pakeisti.
Ši įterptoji naršyklė taip pat leidžia naudoti „Codex“ Analizuokite turinį, rinkite informaciją ir naudokite ją kaip kontekstą Kitoms užduotims, tokioms kaip kodo dokumentavimas, produkto specifikacijų peržiūra ar techninės dokumentacijos palyginimas, viskas atliekama toje pačioje aplinkoje, nereikia perjungti kelių operacinių sistemų langų.
Vaizdų generavimas ir redagavimas naudojant gpt-image-1.5
Kitas naujosios „Codex“ versijos ramstis yra modelio integravimas gpt-image-1.5 vaizdų kūrimui ir modifikavimui Pačioje darbalaukio programoje agentas gali generuoti diagramas, schemas, maketus ar vaizdinius eskizus iš teksto arba derindamas instrukcijas su ekrano kopijomis ir kodo fragmentais.
Ši galimybė skirta tiesiogiai komandoms, dirbančioms produktų dizainas, vartotojo sąsajos ar vaizdo žaidimų prototipaiPavyzdžiui, kūrėjas gali nufotografuoti pusiau baigtos sąsajos ekrano kopiją, paprašyti „Codex“ pasiūlyti meniu pertvarkymą ar naują spalvų schemą ir gauti sugeneruotus vaizdus, kurie atitiktų tą kontekstą, nekeisdamas įrankių.
Kadangi viskas centralizuotai veikia „Codex“ sistemoje, agentai gali sujungti kodavimo ir projektavimo užduotis: parašykite funkcionalumo logiką, atnaujinkite atitinkamą vartotojo sąsają ir sugeneruokite vizualinį maketą, kurį galėsite pateikti komandai, neišeidami iš darbo eigos ir neatidarydami išorinių grafikos redagavimo programų.
Atmintis, kontekstas ir ilgalaikis užduočių automatizavimas
Be kompiuterio valdymo ir vaizdų generavimo, didžiausias „OpenAI“ šios versijos tikslas – aprūpinti „Codex“ nuolatinė atmintis ir daug platesnis konteksto valdymasĮrankis gali pakartotinai panaudoti ankstesnius pokalbius, išsaugoti svarbią informaciją ir ją atkurti, kai reikia tęsti projektą.
Atminties funkcija, kuri šiuo metu išleidžiama peržiūros versijoje, leidžia „Codex“ prisiminti asmeninius pageidavimus, dažnus taisymus ar duomenis, kuriuos buvo sunku surinktiTai apima viską – nuo tipinio komandos technologijų rinkinio iki aplankų tvarkymo, dažniausiai naudojamų ataskaitų formatų ir žymos, paprastai naudojamos „GitHub“ tam tikrų tipų problemoms spręsti.
Turėdamas tą sukauptą kontekstą, agentas gali iniciatyviai siūlyti užduotisTai gali būti naudojama siūlant atnaujinti nebaigtą projektą, rekomenduoti laukiantį pertvarkymą arba pranešti vartotojams apie ilgalaikes „pull request“ užklausas. Kai kurios įmonės jau naudoja tai pokalbiams „Slack“, „Gmail“ ar „Notion“ stebėti ir reaguoti į tam tikrus įvykius.
Kodeksas taip pat gali planuoti darbą ateičiai ir savarankiškai atgaivinti save atlikti ilgalaikes užduotis. Pavyzdžiui, ji gali valdyti kodo peržiūrų eilę kelias dienas ar savaites, spręsti komentarus ir atnaujinti dokumentaciją, kūrėjui nereikalaujant nuolat jos stebėti.
Daugiau nei 90 priedų ir patobulinta kūrėjų pagalba
Siekdama užbaigti pakeitimą, „OpenAI“ pridėjo beveik 90 naujų „Codex“ papildiniųTai apima integracijas su „Microsoft Suite“, „GitLab Issues“, „Neon by Databricks“, „Render“ ir „Superpowers“, taip pat palaikymą MCP (Model Context Protocol) serveriams. Tikslas – suteikti agentui daugiau konteksto šaltinių ir didesnes operacines galimybes.
Dėl šių papildinių „Codex“ gali rinkti informaciją iš skirtingų tarnybų ir ja remiantis imtis veiksmų Iš vienos darbo srities galite peržiūrėti problemas „GitLab“ aplinkoje, atlikti duomenų užklausas „Databricks“ aplinkoje, atnaujinti „Office“ dokumentus arba sąveikauti su diegimo paslaugomis, neverčiant vartotojo pereiti iš vienos platformos į kitą.
Grynai techniniu lygmeniu atnaujinimas sustiprina tipiniai kūrėjo darbo eigosDabar „Codex“ padeda peržiūrėti užklausas, vienu metu valdyti kelis terminalo skirtukus, prisijungti prie nuotolinių kūrimo aplinkų per SSH ir atidaryti failus su išsamia peržiūra – PDF, skaičiuokles, pristatymus ar dokumentus kitais formatais.
Visa tai sutelkta vieningoje patirtyje, kuri, anot paties „OpenAI“, leidžia greičiau progresuoti. visuose programinės įrangos gyvavimo ciklo etapuoseNuo pradinio kodo rašymo iki testavimo, diegimo, dokumentavimo ir priežiūros, dirbtinio intelekto agentams nuolat bendradarbiaujant toje pačioje darbalaukio aplinkoje.
Prieinamumas, dėmesys kūrėjams ir padėtis Europoje
Naujoji „Codex“ versija jau diegiama. darbalaukio programa, skirta macOS Tiems, kurie prisijungia naudodami „ChatGPT“ paskyrą. Ne visoms funkcijoms reikalinga tokio paties tipo prenumerata, o kai kurios išplėstinės funkcijos gali priklausyti nuo įsigyto plano, kaip ir kitų „OpenAI“ įrankių atveju.
„Codex“ direktorius Thibault Sottiaux paaiškino, kad šis atnaujinimas Jis ypač skirtas kūrėjamsNors vėliau ketinama jį išplėsti platesnei auditorijai. Idėja yra ta, kad techninės komandos pirmosios pasinaudos naujais agentais ir automatizuotais darbo srautais ir laikui bėgant perkels šį modelį į biuro užduotis, dokumentų valdymą ar asmeninį produktyvumą.
„OpenAI“ pabrėžia, kad skaičiavimo galia ir atmintis naudojami kartu su saugumo ir atitikties reglamentams metodasTai ypač aktualu Europos Sąjungoje ir Jungtinėje Karalystėje. Dėl šios priežasties išplėstinės pritaikymo funkcijos, kontekstiniai pasiūlymai, nuolatinė atmintis ir tiesioginis operacinės sistemos valdymas šiose rinkose bus pasiekiami šiek tiek vėliau.
Bet kuriuo atveju bendrovė tvirtina, kad ši „Codex“ evoliucija atveria duris į darbalaukio superprograma, orientuota į intelektualią automatizacijąkur dirbtinio intelekto agentai ne tik padeda rašyti kodą, bet ir koordinuoja užduotis, prisitaiko prie vartotojo darbo stiliaus ir užtikrina sudėtingų projektų vykdymą ilgą laiką. Programinės įrangos kūrėjams Europoje žinia aiški: atsiranda naujų galimybių, tačiau su būtinais pakeitimais, kad jos atitiktų esamą reguliavimo sistemą.