„Myslím si, že nám to umožňuje byť premyslenejší a viac premýšľať o otázkach bezpečnosti,“ hovorí Altman. „Súčasťou našej stratégie je: postupná zmena vo svete je lepšia ako náhla zmena.“ Alebo, ako povedala viceprezidentka OpenAI Mira Morattiová, keď som sa jej spýtal na prácu bezpečnostného tímu, ktorý obmedzuje otvorený prístup k softvéru, „Ak sa chceme naučiť, ako nasadiť tieto výkonné technológie, začnime, keď bude v stávke sú veľmi nízke.“

Zatiaľ čo samotný GPT-3 OpenAI, ktorý beží na 285 000 jadrách CPU v klastri superpočítačov v Iowe, pôsobí mimo misijnej oblasti San Francisco v zrekonštruovanej továrni na batožinu. V novembri minulého roku som tam stretol Ilju Sotskefera a snažil som sa vylúdiť laické vysvetlenie toho, ako GPT-3 skutočne funguje.

„To je základná myšlienka GPT-3,“ povedal Sotskever sústredene a naklonil sa dopredu na stoličke. Má zaujímavý spôsob, ako odpovedať na otázky: Niektoré falošné začiatky – „Môžem vám poskytnúť popis, ktorý sa približne zhoduje s popisom, o ktorý ste požiadali“ – prerušované dlhými meditačnými pauzami, ako keby mapoval celú prebiehajúcu reakciu.

Nakoniec povedal: „Základnou myšlienkou GPT-3 je spôsob spojenia intuitívneho pojmu porozumenia s niečím, čo sa dá merať a pochopiť mechanicky, a to je úloha predpovedať ďalšie slovo v texte. Iné formy umelej inteligencie sa pokúšajú zakódovať informácie o svete: šachové stratégie veľkých majstrov, princípy klimatológie. Ale inteligencia GPT-3, ak je to slovo inteligencia, prichádza zdola nahor: prostredníctvom elementárneho slovesa predpovedať ďalšie slovo. Pri výcviku GPT-3 dostane model „výzvu“ – niekoľko viet alebo odsekov textu napríklad z novinového článku, románu či vedeckého článku – a potom sa požiada, aby navrhol zoznam možných slov, ktoré môže dokončiť sekvenciu zoradenú podľa pravdepodobnosti. V počiatočných fázach tréningu sú navrhované slová nezmyslom. Opýtajte sa algoritmu vetou ako „Autor vymazal posledné slovo z prvého slova…““ a dohady by boli akýmsi prúdom nezmyslov: zoznam – zobrazí sa správne chýbajúce slovo: „odsek.“ Potom program posilňuje a oslabuje akékoľvek náhodné neurónové spojenia, ktoré generujú daný návrh Všetky spojenia, ktoré generovali nesprávne odhady. Potom sa presunie na ďalší smerovač. Postupom času, s dostatočným počtom iterácií, sa program učí.

V januári OpenAI pridala funkciu, ktorá umožňuje používateľom zadávať priame pokyny GPT-3 ako výzvu, namiesto toho, aby od nich vyžadovali rozšírenie vzorového segmentu textu. Napríklad pomocou režimu Pomocník dostal GPT-3 raz výzvu: „Napíšte esej o úlohe metafikcie v diele Itala Calvina.“ Krátky odsek, ktorý začínal takto:

Taliansky autor Italo Calvino je považovaný za odborníka na metafikciu, typ písania, v ktorom autor láme štvrtú stenu, aby prediskutoval samotný akt písania. Pre Calvina je metafikcia spôsob, ako skúmať povahu reality a spôsoby, akými môžu príbehy formovať naše vnímanie sveta. Jeho romány často obsahujú hravé štruktúry a labyrinty, ktoré manipulujú s hranicami medzi realitou a fantáziou. V prípade, ak je cestovateľ napríklad v zimnej noci, je čitateľ neustále prerušovaný diskusiami na metaúrovni aktu čítania a charakteru rozprávania. . . .

Môžete dať GPT-3 presne tú istú výzvu, znova a znova, a zakaždým to vygeneruje jedinečnú odpoveď, niektoré presvedčivejšie ako iné, ale takmer všetky pozoruhodne priamočiare. Indikatívne výzvy môžu mať rôzne formy: „Dajte mi zoznam všetkých ingrediencií v bolonskej omáčke“, „Napíšte báseň o francúzskej prímorskej dedine v štýle Johna Ashberyho“, „Vysvetlite veľký tresk v jazyku, ktorý trvá 8 rokov -staré rozumie.“ Občas Pri prvých niekoľkých stimuloch GPT-3 tohto druhu som pocítil skutočnú husiu kožu, ktorá mi behala po chrbte. Zdalo sa takmer nemožné, aby stroj vygeneroval taký jasný a pohotový text založený výlučne na počiatočnom tréningu na predpovedanie ďalšie slovo.

Ale AI má za sebou dlhú históriu vytvárania ilúzie inteligencie alebo porozumenia bez skutočného dodania tovaru. pri veľmi diskutovaný papier Profesorka lingvistiky z Washingtonskej univerzity Emily Bender, bývalý výskumník spoločnosti Google Timnit Gebru a skupina spoluautorov, publikované minulý rok, vyhlásili, že veľké jazykové modely sú len „náhodné papagáje“: to znamená, že program používal randomizáciu len na remixovanie viet napísaných ludia.. Bender mi nedávno prostredníctvom e-mailu povedala: „To, čo sa zmenilo, nie je nejaký krok nad určitým prahom smerom k ‚umelej inteligencii‘. Namiesto toho povedala, že to, čo sa zmenilo, sú ‚hardvér, softvér a ekonomické inovácie, ktoré umožňujú hromadenie a spracovanie množiny údajov“ — ako aj kultúra Technológia, ktorú „môžu mať ľudia, ktorí stavajú a predávajú takéto veci“, je ďaleko od toho, aby ju stavali na základoch nepresných údajov.“