Nová poker AI od Facebooku překonává Libratus

Umělá pokerová inteligence Libratus porazila lidské protivníky. Společnost Facebook ovšem vytvořila ještě lepší AI. Jmenuje se ReBeL.

Foto: Carnegie Mellon University (YouTube)

Nejlepší poker umělá inteligence je od Facebooku

Vývojáři ve společnosti Facebook nepracují jen na sociálních sítích a jejich doplňcích. Facebook investoval nemalé prostředky například do virtuální reality a velkou měrou se podílí i na vývoji umělé inteligence. AI, která ve Facebooku vzniká, se jmenuje Recursive Belief-based Learning (ReBeL). A jak takovou umělou inteligenci nejlépe prověřit? Něčím složitým, komplexním jako je Texas Hold'em poker!

Založte si poker účet u SYNOT TIPu: zaregistrujte se NYNÍ a získejte 500,- ZDARMA!

Umělá inteligence se testuje na hrách všeho druhu

Výzkum a vývoj umělé inteligence je něco jako kosmický program. Soukromé firmy, ale i státy se předhánějí, kdo vyvine tu nejlepší a „nejchytřejší“ AI. Využití je doslova nedozírné: umělá inteligence může zcela nezávisle řídit cokoliv si představíte. Může nastartovat zcela novou dimenzi lidského poznání, otevřít nové rozměry chápání: například objevovat nové technologie (zdroje energie), nacházet léky na doposud nevyléčitelné nemoci a mnoho dalšího. K takovým AI je zřejmě ještě daleko, ale vývoj jde neustále kupředu a vědci si dlouhá léta lámou hlavu nad tím, jak vytvořit ten nejchytřejší „centrální mozek lidstva“.

Všechny umělé inteligence začínají na jednoduchých úkolech, od nichž se posouvají dále. AI se postupně sama učí ze svých chyb. Učí se podobně jako člověk, jen mnohonásobně rychleji. Takový DeepMind AlphaZero (2017) byl schopen naučit se sám šachy, šógi (japonské šachy) a také Go. DeepMind v roce 2014 za $500 milionů převzala společnost Google, která ve vývoji pokračuje pod firmou Alphabet. Jejich umělá inteligence založená na neuronových sítích nezvládá jen zmíněné hry na super úrovni, ale také byla nasazena do her jako StarCraft II (dříve se učila hrát jednoduché hry z Atari 2700 jako byly Pong, Space Invaders, Breakout – AI o hrách nic nevěděla, nebyla tzv. předprogramovaná, musela se je učit hrát metodou pokus-omyl, podobně funguje OpenAI Five, která se specializuje na hru Dota2). Využití našla také v rozpoznávání obličejů, nebo při detekování očních onemocnění z fotografií, podílí se i na zpracování screeningů při léčbě rakoviny...

Umělá inteligence najde své uplatnění ve všech oblastech lidského života, i když nejvíce je „vidět“ ve spojitosti se samořiditelnými automobily nebo při letech do vesmíru.

ReBeL v pokeru překonává Libratus

Když dojde na poker, tak asi nejvýznamnější měrou se na vývoji AI podílel projekt Libratus z Carniege-Mellonovy univerzity, kterému se podařilo zvítězit nad profesionálními hráči. Zajímavý je také bot DeepStack, na kterém se podíleli i čeští výzkumníci. Libratus to ovšem dotáhl dále, byl dokonce angažován Americkou armádou. Libratus se podobně jako AI od Google také sám učil hrát, avšak ne videohry, ale No Limit Hold'em ve variantě heads-up. ReBeL od Facebooku dělá to samé, ale přidává k tomu novou proměnou označovanou jako „game state“ (tedy něco jako průběh hry), která napomáhá AI lépe pochopit skryté informace během samotné hry. ReBeL si hlídá všechny viditelné údaje jako jsou známé karty (v ruce a na boardu), sleduje velikosti sázek, vyhodnocuje range soupeře a na základě toho odhaduje, jaké karty oponent drží. Kromě toho také sleduje další prvek označovaný jako „belief“, ze kterého odhaduje stav handy, ve které se nachází. Podobně jako člověk zvažuje, jestli je v handě tzv. napřed, nebo naopak pozadu. ReBeL aktuálně „trénuje“ dva odlišné modely AI – trénuje = hraje sám proti sobě. Rozhodně to není srovnatelné se hrou šachy, kde umělé inteligence pracují se všemi informacemi. U pokeru se právě musí rozvíjet sledování tendencí a optimálního zahrání. Tedy pozorovat všechny možné druhy zahrání a pravděpodobnost, jak mohou skončit.

Profesionální poker hráč Dong Kim neobstál

Podle výzkumníků má ReBeL díky novému přístupu velice dobré výsledky právě ve hrách s neúplnými informacemi. Tým Facebooku provedl dva experimenty, ve kterých ReBeL hrál dvě hry – Turn Endgame Hold'em (zjednodušená varianta No Limit Hold'emu, ve které oba hráči buď checkují, nebo callují první dvě nebo čtyři sázková kola) a také Liar's Dice (hra s kostkami). Výzkumníci použili 128 PC s osmi grafickými kartami, aby nasimulovali potřebná data pro trénink (stacky a výše sázek byly vygenerovány náhodně).

Následně ReBeLovi čelil jeden z nejlepších heads-up hráčů – Dong Kim. Neúspěšně... Dong Kim prohrál na vzorku 7,500 hand. (Tedy stále nic velkého.) Podle vývojářů ReBeL „skóroval“ 165 tisíc big blindů na hru. Konkurenční Libratus dosáhl 147 tisíc. ReBeL potřeboval v průměru dvě sekundy na rozhodnutí, nejdelší netrvalo více jak 5 vteřin. Nutno ještě dodat, že podobné AI se zaměřují výhradně na heads-up varianty, kde do hry nevstupuje tolik dalších faktorů jako u ring her.

Kód nebude dostupný

Tým Facebooku se bojí zneužití jejich programového kódu, a proto uvolnili jen open-source verzi pro kostky Liar's Dice. Vývojáři věří, že jejich umělá inteligence bude schopna posunout výzkum v kyber bezpečnosti, samořiditelných automobilech a v dalších oblastech. Rozhodně zapomeňte, že by vám umělá inteligence radila, jak vyhrávat třeba na ruletě, to je nesmysl.

První kolo heads-up duelu Hellmutha a Esfandiariho má vítěze

Zdroje: Facebook, CardsChat, Venturebeat.com, Wikipedie