AI 2040
„Bude lepší začít věřit na sci-fi, protože v jednom sci-fi příběhu právě žijeme.“ (Zvi)
Možná si vzpomenete na skvělou studii AI 2027. Velmi prominentní skupina odborníků na AI v ní před více než rokem popsala nejpravděpodobnější trajektorii dalšího vývoje světa s umělou inteligencí. S lidstvem to podle jejich odhadu nedopadne vůbec dobře. Jedna z hlavních větví scénáře končí v roce 2030 vyhubením lidstva, druhá nevratnou koncentrací moci připomínající AI diktaturu.
Během více než roku od vydání prognózy se bohužel již naplnila řada jejich odhadů.
Minulý týden pak v obdobném složení zveřejnili jiný typ scénáře. Tentokrát nejde o odhad nejpravděpodobnějšího vývoje. Za ten stále považují trajektorii popsanou v AI 2027. V novém scénáři AI 2040 se pokusili podrobně ukázat, jak by to s lidstvem mohlo dopadnout dobře.
Jinými slovy: autoři sice stále odhadují, že to s lidstvem dopadne opravdu katastrofálně, a to dosti brzy, ale chtějí zvýšit naše šance na o něco lepší budoucnost tím, že popíší, jak bychom se mohli katastrofě vyhnout.
Zastavit, zpomalit, plnou parou vpřed
Jak by to tedy podle autorů mohlo dopadnout dobře?
V roce 2028 bude AI hlavním tématem amerických voleb. Už nepůjde o abstraktní úvahy, co se stane, až bude AI velmi schopná a převezme většinu práce bílých límečků. Tahle trajektorie bude natolik zřejmá, že ji nikdo relevantní vlastně nezpochybní. Prezidentští kandidáti se budou spíše obávat, co čeká je a jejich rodiny ve světě, který ještě pár let zůstane na dosavadním trajektorii.
Proto v roce 2029 prezident USA iniciuje dohodu s Čínou. Do příchodu AI měli Číňané dobře nakročeno k tomu, aby se 21. století stalo čínským stoletím. V AI však zaostávají, a tak uvítají možnost zpomalit překotný vývoj, v němž hrají druhé housle. Uzavřou proto mezinárodní dohodu, že nebudou trénovat schopnější modely AI. Naprostá většina relevantních států se k ní velmi rychle přidá a zákaz tak začne platit celosvětově.
O rok později hlavní aktéři dohody spustí druhou fázi plánu. Kontrolovaně povolí pozvolný růst schopností AI. V letech 2030–2035 tak vzniknou systémy dosahující úrovně nejchytřejších lidí. Díky celé sadě opatření však zůstanou právě tak schopné, abychom je ještě dokázali kontrolovat. Kdyby se tyto AI na úrovni lidských géniů rozhodly převzít vládu nad světem, nezvládnou to (tzv. max-controllable AI).
V letech 2035–2039 už lidstvo další růst schopností AI nedovolí. Místo toho se soustředí na to, aby AI systémy měly na srdci prospěch lidstva (tzv. alignment). S masivní pomocí geniálních AI systémů se lidstvu nakonec podaří získat jistotu, že dokáže stvořit superschopné umělé inteligence, kterým půjde především o naše blaho.
V roce 2040 skutečně stvoříme superinteligentní AI. Už nad ní nemáme kontrolu, protože je o tolik chytřejší, že proti nám prosadí téměř cokoli, co si usmyslí. Naštěstí jsme k jejímu stvoření přistoupili až ve chvíli, kdy víme, že bude stát na naší straně. V říjnu 2040 tak odevzdáváme běh světa a vesmíru do rukou hodné superinteligence a díky její péči zažíváme bezprecedentně dobrou budoucnost, jejíž kontury je z perspektivy upachtěné přítomnosti divoké byť jen načrtnout (ale autoři to ve studii beztak dělají).
Podle scénáře AI 2040 tak lidstvo v letech 2030–2039 nejen těží z obrovského blahobytu a obecného pokroku, který přináší AI na úrovni lidských géniů, ale zároveň si zajišťuje skvělou dlouhodobou budoucnost po roce 2040 tím, že se svěří do péče křemíkové superinteligence, jíž jde především o zdar lidstva.
Otazníky a zdvižená obočí
Je skvělé, že takto orientovaní a důvěryhodní autoři přišli s pozitivním plánem. Jak říká můj oblíbený AI podcaster: „Nejvíce se nám nedostává pozitivní vize budoucnosti.“
Sami autoři přitom říkají, že si vůbec nejsou jistí, zda je jejich pozitivní scénář skutečně nejnadějnější. Vyzývají proto ke kritice svého návrhu a k předložení lepších variant. V AI 2040 zároveň představují několik alternativních scénářů a vysvětlují, proč zvolili právě popsanou verzi (tzv. plán A).
Nejvíce přitom váhají, zda by nebylo nadějnější pozastavit vývoj AI na delší dobu, tedy ještě před vznikem systémů na úrovni lidských géniů, které by stále zůstávaly kontrolovatelné (tzv. plán S).
Takový alternativní postup doporučují mnozí. A přiznávám, že jsem mezi nimi. Autoři AI 2040 totiž zcela vědomě doporučují balancovat na samé hraně útesu. Cíleně se přiblížit k úrovni lidských géniů, ale nepřekročit ji. A tam se zastavit a s jejich pomocí vyřešit problém, jak stvořit superinteligenci, která se bude primárně starat o lidské dobro. Něco takového totiž nyní rozhodně neumíme a nemáme ani plán, jak toho dosáhnout.
Nevíme totiž, jak zajistit, aby umělá inteligence dělala to, co si přejeme (tzv. inner alignment problem). Už dnešní AI systémy dělají mnohé věci, které si jejich tvůrci opravdu nepřejí a jimž se mnohdy snažili explicitně zabránit. Druhým problémem je, co bychom si vlastně měli přát, aby nadlidsky schopné AI systémy sledovaly. My totiž moc nerozumíme tomu, co je dobré, a v lidských dějinách jsme se mnohokrát pletli (například i velcí filosofové obhajovali otroctví). Je naivní si představovat, že za pár let, byť s pomocí velmi chytrých AI systémů, nějak přijdeme na to, co vlastně dobro je. I drobná úvaha stačí, abychom byli velmi obezřetní vůči zakódování našich současných přání do umělé superinteligence, která by naše jistě v mnohém pomýlené představy naplňovala až do tepelné smrti vesmíru.
Problém s plánem A ale je, že balancovat s AI na samé hranici schopností nejlepších lidí je nesmírně riskantní. Stačí jediné uklouznutí a dostaneme se k neovladatelné superinteligenci dřív, než budeme vůbec tušit, co od ní máme chtít. Povolený trénink v letech 2030–2035 může například zvýšit schopnosti AI víc, než jsme i při vší opatrnosti předpokládali (což se už dnes děje zcela rutinně a nikdo předem přesně neví, o kolik díky tréninku vzrostou schopnosti modelu). Nebo se při nasazení ukáže, že v běžném režimu sice AI stále dokážeme kontrolovat, ale s trochou jiných udělátek okolo už nikoli (velmi rozdílné schopnosti a tendence v různých nasazeních jsou dnes rovněž zcela běžné).
Všechny zmíněné námitky autoři AI 2040 samozřejmě znají a zvažovali je. Jsem velmi zvědavý na diskuse, v nichž se budou tříbit argumenty pro a proti plánu A. Každopádně věřím, že sepsání podrobného plánu s dobrým koncem pomůže zahlédnout, co bychom si s AI mohli počít.