Гоогле-ова ТенсорФлов платформа омогућава својим корисницима да тренирају вештачку интелигенцију обезбеђујући алате и ресурсе за машинско учење. Већ дуго времена, АИ инжењери користе традиционалне ЦПУ и ГПУ-е за обуку АИ. Иако ови процесори могу да обрађују различите процесе машинског учења, они су и даље хардвер опште намене који се користи за различите свакодневне задатке.
Да би убрзао обуку вештачке интелигенције, Гоогле је развио интегрисано коло (АСИЦ) специфично за апликацију познато као Тенсор Процессинг Унит (ТПУ). Али, шта је Тенсор Процессинг Унит, и како они убрзавају АИ програмирање?
Шта су тензорске процесорске јединице (ТПУ)?
Тенсор процесорске јединице су Гуглове АСИЦ за машинско учење. ТПУ се посебно користе за дубоко учење за решавање сложених матричних и векторских операција. ТПУ-ови су поједностављени да решавају матричне и векторске операције при ултра великим брзинама, али морају бити упарени са ЦПУ-ом да би давали и извршавали инструкције. ТПУ-ови се могу користити само са Гоогле-овим
ТенсорФлов или ТенсорФлов Лите платформа, било путем рачунарства у облаку или његове лите верзије на локалном хардверу.Апликације за ТПУ
Гоогле користи ТПУ од 2015. Такође су потврдили употребу ових нових процесора за обраду текста у Гоогле Стреет Виев-у, Гоогле фотографије и резултате Гоогле претраге (Ранк Браин), као као и да створи вештачку интелигенцију познату као АлпхаГо, која је победила врхунске Го играче и АлпхаЗеро систем који је победио водеће програме у шаху, Гоу и Схоги.
ТПУ се могу користити у разним апликацијама за дубоко учење као што су откривање превара, компјутерски вид, природни језик обрада, самовозећи аутомобили, вокална вештачка интелигенција, пољопривреда, виртуелни асистенти, трговина акцијама, е-трговина и разни друштвени предвиђања.
Када користити ТПУ
Пошто су ТПУ-ови високо специјализовани хардвер за дубоко учење, он губи много других функција које бисте обично очекивали од процесора опште намене као што је ЦПУ. Имајући ово на уму, постоје специфични сценарији у којима ће коришћење ТПУ-а дати најбољи резултат приликом обуке АИ.
Најбоље време за коришћење ТПУ-а је за операције у којима се модели у великој мери ослањају на матричне прорачуне, као што су системи препорука за претраживаче. ТПУ такође дају одличне резултате за моделе у којима АИ анализира огромне количине података за које ће бити потребно више недеља или месеци да се заврше. Инжењери вештачке интелигенције користе ТПУ на пример без прилагођених ТенсорФлов модела и морају да почну од нуле.
Када не треба користити ТПУ
Као што је раније речено, оптимизација ТПУ-а узрокује да ови типови процесора раде само на специфичним операцијама оптерећења. Према томе, постоје случајеви у којима ће се одлучивање за коришћење традиционалног ЦПУ-а и ГПУ-а донети брже резултате. Ови примери укључују:
- Брза израда прототипа уз максималну флексибилност
- Модели ограничени доступним тачкама података
- Модели који су једноставни и могу се брзо обучити
- Модели су превише напорни за промену
- Модели који се ослањају на прилагођене ТенсорФлов операције написане у Ц++
ТПУ верзије и спецификације
Откако је Гоогле најавио своје ТПУ-ове, јавност се стално ажурира о најновијим верзијама ТПУ-а и њиховим спецификацијама. Следи листа свих ТПУ верзија са спецификацијама:
| ТПУв1 | ТПУв2 | ТПУв3 | ТПУв4 | Едгев1 | |
|---|---|---|---|---|---|
| Датум увођења | 2016 | 2017 | 2018 | 2021 | 2018 |
| Процесни чвор (нм) | 28 | 16 | 16 | 7 | |
| Величина калупа (мм²) | 331 | <625 | <700 | <400 | |
| Меморија на чипу | 28 | 32 | 32 | 144 | |
| Брзина сата (МХз) | 700 | 700 | 940 | 1050 | |
| Најмања конфигурација меморије (ГБ) | 8 ДДР3 | 16 ХБМ | 32 ХБМ | 32 ХБМ | |
| ТДП (вати) | 75 | 280 | 450 | 175 | 2 |
| ТОПС (тера операција у секунди) | 23 | 45 | 90 | ? | 4 |
| ТОПС/В | 0.3 | 0.16 | 0.2 | ? | 2 |
Као што видите, брзине ТПУ такта не изгледају баш импресивно, посебно када модерни десктоп рачунари данас могу да имају брзину такта 3-5 пута брже. Али ако погледате доња два реда табеле, можете видети да ТПУ-ови могу да обрађују 23-90 тера-операција у секунди користећи само 0,16-0,3 вати снаге. Процењује се да су ТПУ-ови 15-30 пута бржи од модерних ЦПУ-а и ГПУ-а када користе интерфејс неуронске мреже.
Са сваком издатом верзијом, новији ТПУ-ови показују значајна побољшања и могућности. Ево неколико нагласака за сваку верзију.
- ТПУв1: Први јавно објављен ТПУ. Дизајниран као 8-битна машина за множење матрице и ограничена је на решавање само целих бројева.
- ТПУв2: Пошто су инжењери приметили да је ТПУв1 ограничен у пропусном опсегу. Ова верзија сада има двоструко већи меморијски пропусни опсег са 16 ГБ РАМ-а. Ова верзија сада може да решава плутајуће тачке што је чини корисном за обуку и закључивање.
- ТПУв3: Објављен 2018., ТПУв3 има двоструко више процесора и распоређен је са четири пута више чипова од ТПУв2. Надоградње омогућавају овој верзији да има осам пута боље перформансе у односу на претходне верзије.
- ТПУв4: Ово је најновија верзија ТПУ-а објављена 18. маја 2021. Извршни директор Гугла је најавио да ће ова верзија имати више него двоструко боље перформансе од ТПУ в3.
- Едге ТПУ: Ова ТПУ верзија је намењена за мање операције оптимизоване да користе мање енергије од других верзија ТПУ-а у укупном раду. Иако користи само два вата снаге, Едге ТПУ може да реши до четири терра-операције у секунди. Едге ТПУ се налази само на малим ручним уређајима као што је Гоогле-ов Пикел 4 паметни телефон.
Како приступате ТПУ-овима? Ко их може користити?
ТПУ-ови су власничке процесорске јединице које је Гоогле дизајнирао да се користе са својом ТенсорФлов платформом. Приступ трећих страна овим процесорима је дозвољен од 2018. Данас се ТПУ-овима (осим Едге ТПУ-а) може приступити само преко Гоогле-а рачунарске услуге преко облака. Док се Едге ТПУ хардвер може купити преко Гоогле-овог Пикел 4 паметног телефона и његовог комплета за израду прототипа познатог као Цорал.
Цорал је УСБ акцелератор који користи УСБ 3.0 Тип Ц за податке и напајање. Обезбеђује вашем уређају Едге ТПУ рачунарство са 4 ТОПС за сваких 2В снаге. Овај комплет може да ради на машинама које користе Виндовс 10, мацОС и Дебиан Линук (може да ради и са Распберри Пи).
Други специјализовани АИ акцелератори
С обзиром да је вештачка интелигенција била у моди последње деценије, Биг Тецх стално тражи начине да машинско учење учини што бржим и ефикаснијим. Иако су Гоогле-ови ТПУ-ови вероватно најпопуларнији АСИЦ развијени за дубоко учење, друге технолошке компаније као што су Интел, Мицрософт, Алибаба и Куалцомм такође су развиле сопствене АИ акцелераторе. То укључује Мицрософт Браинваве, Интел Неурал Цомпуте Стицк и Грапхицоре-ов ИПУ (Интеллигенце Процессинг Унит).
Али док се више АИ хардвера развија, нажалост, већина њих тек треба да буде доступна на тржишту, а многи никада неће. У тренутку писања, ако заиста желите да купите хардвер за АИ акцелератор, најпопуларније опције су да купите комплет за израду прототипова Цорал, Интел НЦС, Грапхицоре Бов Под или Асус ИоТ АИ Аццелератор. Ако само желите приступ специјализованом АИ хардверу, можете користити Гоогле-ове услуге рачунарства у облаку или друге алтернативе као што је Мицрософт Браинваве.
