Keď GPU nestačí
AMD oznámilo, že kupuje kanadský startup Taalas, ktorý vyvíja čipy pre AI inferenciu – teda pre samotnú prevádzku AI modelov, nie ich trénovanie. Na rozdiel od grafických kariet, ktoré sú univerzálne, Taalas vyrába čipy na mieru jednému konkrétnemu modelu. Váhy modelu sú priamo vyleptané do kremíka – model sa tak stáva procesorom.
Výhodou je rýchlosť a efektivita. Nevýhodou: čip potom zvládne len ten jeden model.
Rýchlosť ako zbraň
Taalas už na začiatku roka ukázal testovací čip HC1, ktorý bežal na Llama 3.1 8B od Meta. Výsledok? 16 960 tokenov za sekundu – to je 48krát rýchlejšie než Nvidia a 8,5krát rýchlejšie než Cerebras. Firma tvrdí, že jej systém je 20krát lacnejší na výrobu a spotrebuje 10krát menej energie. Dôvodom je absencia drahých HBM pamätí, pokročilého chladenia a zložitého balenia čipov.
Prechod na iný model vyžaduje výrobu nového čipu. Taalas však tvrdí, že stačí zmeniť dve vrstvy kovu a celý proces trvá len dva mesiace.
Prečo to AMD kupuje
AMD vsádza na to, že najväčší biznis nebude v trénovaní, ale v prevádzke AI modelov. Taalas sa tak stáva ďalšou akvizíciou do skladačky – už od minulého roku kúpila inference softvér MK1, výrobcu serverov ZT Systems a nadviazala partnerstvo s Cerebras. Všetky tieto dieliky smerujú do Heliosu – AMD odpovede na Nvidiu v podobe ucelených rackových systémov pre dátové centrá.
AMD plánuje Taalas kombinovať s Instinct GPU – GPU zvládnu výpočtovo náročné časti, Taalas zrýchli generovanie tokenov.
Nie je to pre každého
Taalas je príkladom toho, kam sa AI hardvér uberá. Kým Nvidia stavia na univerzálnych GPU, ktoré zvládnu čokoľvek, AMD vsádza na špecializáciu. V praxi to znamená, že hyperškálovacie spoločnosti, ktoré denne prevádzkujú miliardy dopytov na tých istých modeloch, môžu ušetriť miliardy dolárov.
AMD cenu akvizície nezverejnilo.