Шта су АМД-ови инстинкт АИ акцелератори?

Нема сумње да НВИДИА наставља да доминира простором паралелног рачунарства са својим разним популарним ГПУ серијама. Али са АМД-овим Инстинцт АИ акцелераторима који опремају два најновија и највећа суперкомпјутера (Фронтиер и Ел Цапитан) и све већа подршка заједнице њиховој РОЦм платформи отвореног кода, НВИДИА је можда нашла свог највећег ривала до сада.

Дакле, шта су тачно АМД-ови Инстинцт АИ акцелератори? Шта их чини моћним и како се могу поредити са НВИДИА Тенсор ГПУ-овима?

Шта је АМД Инстинцт процесор?

АМД-ови Инстинцт процесори су хардвер предузећа који се користи за рачунарство високих перформанси (ХПЦ) и обраду убрзану вештачком интелигенцијом. За разлику од обичних ГПУ-а за потрошаче, Инстинцт ГПУ-ови су специјализовани за боље руковање АИ учењем и другим задацима високих перформанси кроз софтверске и хардверске иновације.

АМД-ова Инстинцт серија ГПУ-а је коришћена за напајање првог суперкомпјутера који је разбио Екасцале баријеру, радећи при 1,1 ЕФЛОПс при операцијама двоструке прецизности у секунди. Суперкомпјутери који користе Инстинцт ГПУ тренутно се користе за истраживање третмана рака, одрживе енергије и климатских промена.

Како процесори Инстинцт убрзавају АИ и ХПЦ

За најмоћнији светски маинстреам сервери и суперкомпјутери да би се постигла обрада на нивоу Екасцале, АМД-ови Инстинцт акцелератори су морали да буду опремљени са неколико технолошких надоградњи и иновација.

Хајде да разговарамо о неким од нових и ажурираних технологија које се користе на АМД Инстинцт ГПУ-овима.

1. Израчунај ДНК (ЦДНК)

Недавни АМД Инстинцт акцелератори (почев од МИ100) су користили ЦДНА архитектуру компаније.

ЦДНА се првенствено фокусира на карактеристике као што су паралелна обрада, хијерархија меморије и оптимизоване перформансе рачунара кроз њихову Матрик Цоре технологију. Чак и ХПЦ и АИ или машинско учење које ради на појединачним серверима може бити подржано од стране ЦДНА, као и огромних Екасцале рачунара.

АМД-ова Матрик Цоре технологија убрзава учење вештачке интелигенције подржавајући операције мешовите прецизности. Способност израчунавања различите прецизности омогућава Инстинцт ГПУ-има да ефикасно израчунају матричне операције на основу потребног нивоа прецизности.

Најпопуларнији формати за прецизност рачунања укључују ФП64, ФП32, ФП16, БФ16 и ИНТ8. ФП је скраћеница за Флоатинг Поинт, БФ за Браин Флоатинг Поинт, а ИНТ за Интегер. Што је већи број који одговара формату, то је прецизније израчунавање. Рад на 64-биту познат је као двострука прецизност. Са 32-битним је једнострука прецизност, 16-битна је полупрецизна и тако даље.

Пошто велики део обучавања модела дубоког учења не захтева велику прецизност, способност израчунавања матрице операције са пола прецизности или чак четвртине прецизности за закључивање значајно смањују оптерећење, чиме се убрзавају АИ учење.

2. Меморија великог пропусног опсега (ХБМ)

Сваки АМД Инстинцт АИ акцелератор долази са до 880 матричних језгара. Са АМД-овим Матрик Цоре процесорима који могу да ураде 383 ТФЛОП-а полупрецизних прорачуна, неопходна је ултра брза меморија. АМД-ове најновије Инстинцт понуде долазе опремљене меморијом великог пропусног опсега (ХБМ) уместо уобичајене ДДР4 или ДДР5 РАМ-а.

За разлику од конвенционалне меморије, ХБМ користи оно што је познато као 3Д наслагана архитектура. Овај тип архитектуре се односи на приступ дизајну где су ДРАМ матрице вертикално наслагане једна на другу. Ово омогућава да се калупи слажу и на вертикалну и на хоризонталну ос, отуда и термин 3Д слагање.

Са овом технологијом 3Д слагања, ХБМ-ови могу имати физички капацитет меморије до неколико стотина гигабајта по модулу, док ДРР5 може да уради само до десетине гигабајта по модулу. Осим капацитета, познато је да ХБМ-ови имају веће перформансе у смислу брзине преноса и боље енергетске ефикасности од обичне ДДР меморије.

3. Инфинити Фабриц

Још једна иновација укључена у Инстинцт ГПУ је АМД-ова Инфинити Фабриц технологија. Инфинити Фабриц је врста система међусобног повезивања који повезује ЦПУ и ГПУ на паметан динамичан начин. Ово омогућава компонентама да ефикасно комуницирају једна са другом.

Са Инфинити Фабриц-ом, уместо повезивања компоненти са обичном магистралом, компоненте су сада повезане у мрежу налик мрежи где пропусни опсег може бити до неколико стотина гигабајта у секунди.

Поред међусобног повезивања налик мрежици, Инфинити Фабриц такође користи сензоре уграђене у сваку матрицу да би динамички контролна фреквенција, брзине преноса података и друга прилагодљива понашања, оптимизујући перформансе и минимизирајући их латентност.

4. РОЦм развојна платформа

НВИДИА ЦУДА (цомпуте унифиед девице арцхитецтуре) је најраспрострањенија развојна платформа за обуку АИ модела. Проблем са ЦУДА-ом је што ради само са НВИДИА ГПУ-овима. Ово је један од главних разлога зашто НВИДИА има огромну већину тржишних удела за ХПЦ и АИ ГПУ акцелераторе.

Пошто је АМД желео да добије већи део ХПЦ и АИ тржишта, морали су да развију сопствену платформу, РОЦм (Радеон Опен Цомпуте). РОЦм је софтверска платформа отвореног кода која омогућава Инстинцт ГПУ-има да се користе као АИ акцелератори.

Иако није нужно део хардвера Инстинцт, РОЦм је фундаменталан када је у питању опстанак Инстинцт линије ГПУ-а. Са РОЦм, програмери и истраживачи добијају РОЦм алате, компајлер, драјвере језгра, читав низ библиотека и приступ оквирима као што су ТенсорФлов и ПиТорцх за развој са својим преферирано АИ програмски језик.

Како се Инстинцт АИ акцелератори упоређују са Радеон ГПУ АИ акцелераторима?

АМД нуди своју Инстинцт линију ГПУ-а за предузећа и Радеон ГПУ-а за редовне потрошаче. Као што је раније речено, Инстинцт ГПУ користи АМД-ову ЦДНА архитектуру, ХБМ и Инфинити Фабриц интерконект. Насупрот томе, Радеон користи АМД-ову РДНА архитектуру, ДДР6 меморију и Инфинити Цацхе.

Иако мање способна, Радеон серија АИ акцелератора и даље има пуну снагу имплементацијом једног или два језгра АИ акцелератора по рачунарској јединици. Најновији Радеон РКС7900 КСТ ГПУ има два АИ акцелераторска језгра по рачунарској јединици, омогућавајући 103 ТФЛОП-а максималне полупрецизности и 52 ТФЛОП-а вршних једнопрецизних израчунавања.

Док је серија ГПУ-а Инстинцт погоднија за ЛЛМ и ХПЦ, Радеон АИ акцелератори се могу користити за фино подешавање унапред обучених модела, закључивање и графички интензивне задатке.

АМД Инстинцт вс. НВИДИА Тенсор

Према а ТрендФорце анкета, НВИДА има 80% тржишног удела за серверске ГПУ, док АМД има само 20%. Овај огроман успех НВИДИА-е је зато што су компанија специјализована за дизајн и монтажу ГПУ-а. Ово им омогућава да дизајнирају ГПУ-ове са знатно бољим перформансама без премца у другим понудама.

Хајде да упоредимо АМД-ов Инстинцт МИ205Кс и НВИДИА-ин Х100СКСМ5 користећи спецификације из АМД-ов званични сајт и НВИДИА сопствени лист са подацима:

Као што можете видети у табели, АМД-ов МИ250Кс ради боље у смислу двоструке и полупрецизности израчунавања, док је НВИДИА-ин Х100СКСМС далеко бољи у смислу матрице полупрецизне и четвртине прецизне калкулације. Ово чини АМД-ов МИ250Кс погоднијим за ХПЦ, док НВИДИА-ин Х100СКСМС са АИ учењем и закључивањем.

Будућност АМД-ових Инстинцт процесора

Иако је најновија АМД-ова понуда, МИ250Кс, дизајнирана за ХПЦ, њихов надолазећи МИ300 је више оријентисан на АИ обуку. Овај АИ акцелератор је најављен као АПУ, који комбинује ГПУ и ЦПУ у једном пакету. Ово омогућава МИ300 да користи своју ЦНДА3 Унифиед Мемори АПУ архитектуру, где ће ГПУ и ЦПУ користити само једну меморију, повећавајући ефикасност и смањујући цену.

Иако се АМД данас неће такмичити са НВИДИА-ом на тржишту АИ акцелератора, када МИ300 буде објављен и РОЦм постане углађена, АМД-ова серија Инстинцт би могла бити довољно добра да отме значајан део тржишта АИ акцелератора од НВИДИА.