Hm, žiadne z týchto čísel sa nezhoduje.

Na hlúpom správaní Googlu záleží, pretože jeho AI sa pozerá na vaše vyhľadávania Skôr či neskôr. Už to bola spoločnosť Testy Tento nový Google – nazvaný Generative Search Experiment alebo SGE – pracuje s dobrovoľníkmi približne 11 mesiacov a nedávno začal zobrazovať odpovede AI v hlavných výsledkoch Google. Aj pre ľudí, ktorí sa na test neprihlásili.

Nový Google dokáže urobiť niekoľko užitočných vecí. Ale ako uvidíte, niekedy si tiež vymýšľa fakty, nesprávne vykladá otázky, poskytuje neaktuálne informácie a vo všeobecnosti blábolí. Čo je ešte horšie, výskumníci zistili, že AI často vyzdvihuje stránky nízkej kvality ako spoľahlivé zdroje informácií.

Normálne nerecenzujem produkt, ktorý ešte nie je dokončený. Tento test budúcnosti spoločnosti Google však prebieha už takmer rok a rozhodnutia, ktoré teraz urobí, ovplyvnia spôsob, akým budú informácie získavať miliardy ľudí. V stávke je aj základná myšlienka súčasného šialenstva AI: že technológia môže nahradiť potrebu hľadať veci sami tým, že nám dá odpovede. Ak spoločnosť s peniazmi a výpočtovou silou Google nemôže uspieť, kto môže?

SGE kombinuje vyhľadávací nástroj, ktorý poznáte, s možnosťami chatbota. Okrem tradičných výsledkov SGE píše priame odpovede na otázky, ktoré sa prelínajú s odkazmi, aby sa dostali hlbšie.

SGE je odpoveďou na skutočnosť, že niektorí ľudia, vrátane mňa, sa začínajú obracať na AI, ako je ChatGPT, kvôli zložitejším otázkam alebo keď sa nám nechce čítať veľa rôznych stránok. Jedenspoločnosť zaoberajúca sa optimalizáciou vyhľadávania, odhaduje, že používanie SGE môže skrátiť celkovú cestu vyhľadávania používateľa 10 až 20-krát tým, že zlúči klady, zápory, ceny a ďalšie informácie na jednom mieste.

Keď sa naša pozornosť zmenšuje, zdá sa byť užitočný robot s odpoveďou na všetko. Google má však veľa práce. Očakávame, že vyhľadávanie bude rýchle, ale odpovede spoločnosti Google v oblasti umelej inteligencie trvajú mučivú sekundu alebo dve. Google musí vyvážiť už aj tak krehkú webovú ekonomiku, kde by jej odpovede umelej inteligencie mohli ukradnúť návštevnosť vydavateľov, ktorí robia namáhavú a nákladnú prácu skutočného vyhľadávania vecí.

Najdôležitejšie zo všetkého je, že nový Google musí splniť svoj sľub, že dokáže konzistentne a správne odpovedať na naše otázky. Na toto som zameral svoje testovanie a pokračoval som v hľadaní príkladov, kde bol výkon umelej inteligencie Google horší ako jeho predchodca.

Testovanie odpovedí AI od Googlu

Častokrát, keď hľadáte na Google, to, čo naozaj chcete, je informácia alebo odkaz. Na dennej báze je nový Google často otravný, pretože jeho AI je taká zhovorčivá.

Praštěný príklad: „Čo jedia transformátory?“

Odpoveď AI mi povedala, že fiktívni roboti v skutočnosti nepotrebujú jesť ani piť, hoci potrebujú nejaký druh paliva. Medzitým starý Google mal jednoslovnú odpoveď, ktorú som hľadal: Energon. (Je to akési magické palivo.) Túto odpoveď som dostal od nového Google len tak, že som sa po stránke posunul nadol.

Toto sa nedeje len s vesmírnymi robotmi. Keď SE Ranking, spoločnosť špecializujúca sa na optimalizáciu pre vyhľadávače, Testované So 100 000 dopytmi na kľúčové slová SGE zistila, že priemerná odpoveď, ktorú vytvorila, bola 3 485 znakov – teda približne tretina dĺžky tohto stĺpca. Jednou z výziev, ktorým Google čelí, je vedieť, kedy je pre jeho AI lepšie mlčať. Niekedy vás SGE pred napísaním odpovede požiada, aby ste stlačili tlačidlo „Vytvoriť“.

Najdôležitejšie je, že keď hľadáme, očakávame tie správne informácie. Google tvrdí, že SGE má v ChatGPT výhodu, pretože jej znalosti sú aktuálne.

Zistil som však, že nový Google stále zápasí s nedávnymi aférami. Tri dni po Na poslednom odovzdávaní Oscarov som hľadal „Oscary 2024“. Povedala mi, že Oscary ešte len prídu a vymenovala niektorých nominovaných.

A nič nepodkopáva moju dôveru v odpovede umelej inteligencie Google viac, ako keď sa na to sebavedomo pozerám.

To zahŕňa fakty o vás. Spýtal som sa ho na ocenenú sériu, ktorú som napísal pre Washington Post, a on to pripísal cudziemu človeku a potom mi dal odkaz na inú stránku.

Potom prišiel čas, keď SGE veselo vytváralo informácie o niečom, čo neexistovalo. Spýtal som sa na reštauráciu v San Franciscu s názvom Danny's Dan Dan Noodles a povedal mi, že má „šialené čakacie časy“ a opísal jej jedlo.

Problém je v tom, že ide o falošný obchod, ktorý som pomenoval podľa môjho obľúbeného čínskeho jedla. Umelá inteligencia Googlu nemala problém prísť s informáciami na túto tému.

Takzvané halucinácie o skutočných a falošných subjektoch sú známym problémom súčasnej umelej inteligencie. Vyhlásenie v hornej časti výsledkov SGE uvádza, že „generatívna AI je experimentálna“, ale to problém nerieši. Google sa musí naučiť, ako povedať „neviem“, keď si nie je istý.

Aby nám umelá inteligencia Google dala odpovede na všetko, musí identifikovať dôveryhodné zdroje. Nie som si veľmi istý jej úsudkom.

Pamätáte si naše šialené výsledky o čistom majetku Zuckerberga? Profesionálny výskumník – rovnako ako starý Google – by mohol navrhnúť pozrieť si zoznam miliardárov Forbes. Odpoveď Google na AI bola založená na niečom veľmi zvláštnom ZipRecruiter Stránka Jobs Marka Zuckerberga, ktorá neexistuje.

V mojich testoch boli podozrivé zdroje vzorom. Na návrh Onelyho som sa nového Google opýtal, čo je spoľahlivejšie: telefóny Apple iPhone alebo Samsung. Ako dlhoročný recenzent vám o tom môžem povedať veľa dobrých zdrojov informácií vrátane profesionálnych novinárov a opravárenských organizácií, ako je iFixit.

Namiesto toho AI cituje náhodné názory ľudí stiahnutých zo sociálnych médií. Odhliadnuc od obmedzenej užitočnosti jednej používateľskej skúsenosti Reddit, ako Google vie, že to nebola falošná recenzia zverejnená výrobcom telefónu?

„Google SGE funguje podľa iného súboru pravidiel v porovnaní s tradičným vyhľadávacím nástrojom, ktorý poznáme dnes,“ povedal Tomek Rudzki, vedúci výskumu a vývoja v Onely.

SEO spoločnosti sa pokúšajú vykonávať kvantitatívne štúdie hodnôt SGE, hoci sú obmedzené požiadavkami spoločnosti Google na testovacie výpočty. Našli však podobný vzor v prepojení medzi stránkami, na ktoré odkazoval starý a nový Google. SEO softvérová spoločnosť orgány Koncom marca som testoval vyhľadávania pomocou tisícok nákupných výrazov a zistil som, že v 77 percentách prípadov sa doména prvého tradičného výsledku vyhľadávania nikde v odpovedi napísanej AI neobjavila.

Vo svojej štúdii 100 000 vyhľadávaných kľúčových slov hodnotenie SE Zistil som, že služba Q&A Quora je zdrojom, na ktorý SGE najviac odkazuje; LinkedIn a Reddit sa umiestnili na piatom a šiestom mieste. Ako často by boli tieto zdroje prijateľné vo výskumnej práci 8. ročníka?

na Vyhľadáva technologické témy – Vrátane množstva otázok „ako na to“ – SE Ranking zistil, že najrelevantnejšia doména je simplelearn.com. Predtým som o tom nepočul; Stránka sa popisuje ako „online boot camp“.

„Tento trend nielenže znižuje kvalitu výsledkov vyhľadávania, ale tiež znižuje návštevnosť a výnosy mnohých malých firiem vrátane pridružených webových stránok,“ hovorí Anastasia Kotsiubinska, vedúca SEO v SE Ranking.

Google hovorí, že SGE je zážitok z predplatného. Google však už preletel Očakávaný koniec Vlani v decembri neposkytla žiadne aktuálne informácie o tom, kedy bude výskum dostupný pre všetkých. Je možné, že Google si nemyslí, že SGE je presná, rýchla alebo dostatočne zisková, a že to nakoniec výrazne zmení.

Bolo by múdre ísť pomaly, aj keď to spôsobí, že Google bude vyzerať, že v pretekoch AI zaostáva. Konkurenčný vyhľadávací nástroj spoločnosti Microsoft Bing vykonal podobnú revíziu AI vo februári 2023, ale jeho AI je stále známa tým, že sa vymyká z cesty.

Elizabeth Reid, hlavná viceprezidentka spoločnosti Google v SGE, to v rozhovore opísala ako prebiehajúcu prácu.

„Skutočne sa zameriavame na to, aby sme zaistili, že skúsenosti sú naozaj správne. Je v tom veľa rôznych faktorov – veci ako latencia, presnosť a užitočnosť,“ povedal Reed. „To, čo sme zistili, Inými slovami, sú chvíle, keď je AI užitočná, inokedy nie a Google sa stále snaží prísť na to, kde nakresliť hranicu.

Keď som zdieľal príklady v tomto stĺpci, Reed mi povedala, že miera halucinácií SGE je „veľmi nízka“ a od spustenia SGE v máji „výrazne“ klesla, hoci odmietla byť konkrétna.

„Nechcem zľahčovať dôležitosť tohto, je to technologická výzva“ a niečo, na čom „skutočne pracujeme,“ povedal Reid. Dodala, že umiestňovanie odkazov vedľa odpovedí AI je dôležité, aby si ľudia mohli overiť fakty sami.

Tu je návrh: Pretože spoločnosť Google uznáva, že správne uvádzať fakty je problém, mala by svoje vlastné údaje opatrne prezradiť skôr, ako ponúkne SGE širšiemu publiku. Pri miliardách vyhľadávaní každý deň môže dokonca 0,001 percenta viesť k mnohým dezinformáciám.

Ďalšou oblasťou, na ktorú sa Google zameriava, je „snaha pomôcť zabezpečiť, aby sme sa čo najrýchlejšie dostali k jadru otázky, a potom poskytnúť ďalšie objasnenie,“ povedal Reed.

Pokiaľ ide o uvádzanie zdrojov nízkej kvality, spoločnosť Google namietala voči externému výskumu SGE a tvrdila, že je založený na obmedzenejšom vyhľadávaní, než Google považuje za praktické. Svoje údaje však odmietla zdieľať.

SGE nemá iný štandard ako starý Google, povedal Reed. „Vidíme väčšiu rozmanitosť v nových zdrojoch,“ dodala, „ale cieľom je aj naďalej klásť kvalitný obsah do popredia.“

Vybrať si, komu veriť, je pre ľudí dosť ťažké. Prečo si Google myslí, že súčasná technológia AI, známa ako LLM alebo Large Language Models, je schopná splniť túto úlohu?

„Nie sú dokonalé,“ povedal Reed. „Chceme použiť tento premyslený prístup, pretože na dôvere ľudí v Google skutočne záleží.“

Závisí od toho budúcnosť našich informácií.