Коришћење локалног модела великог језика није за свакога, али постоје неки добри разлози зашто бисте можда желели да покушате.
Кључне Такеаваис
- Мање цензуре: Локални ЛЛМ-и нуде слободу да се разговара о темама које изазивају размишљање без ограничења наметнутих јавним цхатботовима, омогућавајући отвореније разговоре.
- Боља приватност података: Коришћењем локалног ЛЛМ-а, сви генерисани подаци остају на вашем рачунару, обезбеђујући приватност и спречавајући приступ компанијама које воде јавне ЛЛМ.
- Коришћење ван мреже: Локални ЛЛМ омогућавају непрекидну употребу у удаљеним или изолованим областима без поузданог приступа интернету, пружајући драгоцено средство у таквим сценаријима.
Од доласка ЦхатГПТ-а у новембру 2022., термин модел великог језика (ЛЛМ) је брзо прешао из нишног термина за АИ штребере у популарну реч на свачијим уснама. Највећа привлачност локалног ЛЛМ-а је могућност реплицирања способности цхатбот-а као што је ЦхатГПТ на вашем рачунару без пртљага верзије која се налази у облаку.
Постоје аргументи за и против постављања локалног ЛЛМ-а на вашем рачунару. Прекинућемо хипе и донећемо вам чињенице. Да ли треба да користите локални ЛЛМ?
Предности коришћења локалних ЛЛМ
Зашто су људи толико узбуђени око оснивања сопствених велики језички модели на својим рачунарима? Које су неке практичне предности осим хајке и права хвалисања?
1. Мање цензуре
Када су се ЦхатГПТ и Бинг АИ први пут појавили на мрежи, ствари које су оба цхат бота били спремни да кажу и ураде биле су подједнако фасцинантне колико и алармантне. Бинг АИ се понашао топло и љупко, као да има емоције. ЦхатГПТ је био спреман да користи псовке ако сте то лепо питали. У то време, оба цхат бота би вам чак помогла да направите бомбу ако користите праве упите. Ово би могло звучати као све нијансе погрешног, али могућност да се уради било шта је симбол неограничених могућности језичких модела који су их покретали.
Данас обоје цхатботови су тако строго цензурисани да вам неће ни помоћи да напишете измишљени крими роман са насилним сценама. Неки АИ цхатботови неће чак ни да причају о вери или политици. Иако ЛЛМ-ови које можете поставити локално нису у потпуности без цензуре, многи од њих ће радо радити ствари које изазивају размишљање које чет-ботови за јавност неће радити. Дакле, ако не желите да вам робот држи предавања о моралу када разговарате о темама од личног интереса, вођење локалног ЛЛМ-а може бити прави начин.
2. Боља приватност података
Један од примарних разлога зашто се људи одлучују за локални ЛЛМ је да осигурају да све што се дешава на њиховом рачунару остаје на њиховом рачунару. Када користите локални ЛЛМ, то је као да водите приватни разговор у својој дневној соби - нико споља не може да слуша. Без обзира да ли експериментишете са детаљима своје кредитне картице или водите осетљиве личне разговоре са ЛЛМ, сви добијени подаци се чувају само на вашем рачунару. Алтернатива је коришћење ЛЛМ-а са јавношћу као што је ГПТ-4, који надлежним компанијама даје приступ вашим информацијама о ћаскању.
3. Оффлине Усаге
Пошто је интернет веома приступачан и приступачан, приступ ван мреже може изгледати као тривијалан разлог за коришћење локалног ЛЛМ. Приступ ван мреже могао би постати посебно критичан на удаљеним или изолованим локацијама где је интернет услуга непоуздана или недоступна. У таквим сценаријима, локални ЛЛМ који ради независно од интернет везе постаје витално средство. Омогућава вам да наставите да радите шта год желите без прекида.
4. Уштеде
Просечна цена приступа способном ЛЛМ-у као што је ГПТ-4 или Цлауде 2 је 20 долара месечно. Иако то можда не изгледа као алармантна цена, и даље имате неколико досадних ограничења за тај износ. На пример, са ГПТ-4, коме се приступа преко ЦхатГПТ-а, заглављени сте са ограничењем од 50 порука по три сата. Те границе можете прећи само тако прелазак на ЦхатГПТ Ентерприсе план, што би потенцијално могло коштати хиљаде долара. Са локалним ЛЛМ, након што поставите софтвер, нема месечне претплате од 20 УСД или сталних трошкова за плаћање. То је као да купујете аутомобил уместо да се ослањате на услуге дељења вожње. У почетку је скупо, али временом уштедите новац.
5. Боље прилагођавање
Јавно доступни АИ цхат ботови су ограничили прилагођавање због забринутости за безбедност и цензуру. Са локално хостованим АИ асистентом, можете у потпуности прилагодити модел за своје специфичне потребе. Можете да обучите асистента о власничким подацима прилагођеним вашим случајевима коришћења, побољшавајући релевантност и тачност. На пример, адвокат би могао да оптимизује своју локалну вештачку интелигенцију да створи прецизније правне увиде. Кључна предност је контрола над прилагођавањем вашим јединственим захтевима.
Недостаци коришћења локалних ЛЛМ
Пре него што промените, постоје неке недостатке коришћења локалног ЛЛМ-а које бисте требали размотрити.
1. Интензивне ресурсе
Да бисте покренули ефикасан локални ЛЛМ, биће вам потребан врхунски хардвер. Размислите о моћним процесорима, пуно РАМ-а и вероватно наменском ГПУ-у. Не очекујте да ће лаптоп са буџетом од 400 долара пружити добро искуство. Реакције ће бити болно споре, посебно са већим АИ моделима. То је као да покрећете најсавременије видео игре — потребне су вам снажне спецификације за оптималне перформансе. Можда ће вам чак требати и специјализована решења за хлађење. Суштина је да локални ЛЛМ захтевају улагање у врхунски хардвер како би добили брзину и одзив у којима уживате на веб базираним ЛЛМ-овима (или чак побољшали то). Рачунарски захтеви на вашем крају биће значајни у поређењу са коришћењем услуга заснованих на вебу.
2. Спорији одговори и лошији учинак
Уобичајено ограничење локалних ЛЛМ-ова је спорије време одговора. Тачна брзина зависи од специфичног АИ модела и хардвера који се користи, али већина подешавања заостаје за онлајн услугама. Након што искусе тренутне одговоре од ЦхатГПТ-а, Барда и других, локални ЛЛМ-и могу да се осећају изузетно тромо. Речи полако цуре, а не брзо се враћају. Ово није универзално тачно, јер неке локалне примене постижу добре перформансе. Али просечни корисници се суочавају са наглим падом од брзог веб искуства. Дакле, припремите се за „културни шок“ од брзих онлајн система до споријих локалних еквивалената.
Укратко, осим ако имате апсолутно врхунско подешавање (говоримо о АМД Ризен 5800Кс3Д са Нвидиа РТКС 4090 и довољно РАМ-а да потопи брод), укупне перформансе вашег локалног ЛЛМ-а неће се поредити са онлајн генеративним АИ цхат роботима који сте користи за.
3. Цомплек Сетуп
Примена локалног ЛЛМ-а је више укључена него само пријављивање за веб-базирану услугу вештачке интелигенције. Са интернет везом, ваш ЦхатГПТ, Бард или Бинг АИ налог може бити спреман да почне да тражи за неколико минута. Постављање пуног локалног ЛЛМ стека захтева преузимање оквира, конфигурисање инфраструктуре и интеграцију различитих компоненти. За веће моделе, овај сложени процес може трајати сатима, чак и са алатима који имају за циљ да поједноставе инсталацију. Неки најсавременији системи вештачке интелигенције и даље захтевају дубоку техничку стручност да би могли да раде локално. Дакле, за разлику од плуг-анд-плаи веб-базираних АИ модела, управљање сопственом вештачком интелигенцијом укључује значајну техничку и временску инвестицију.
4. Ограничено знање
Многи локални ЛЛМ су заглавили у прошлости. Имају ограничено знање о актуелним догађајима. Сећате се када ЦхатГПТ није могао да приступи интернету? Када би могао да пружи одговоре само на питања о догађајима који су се десили пре септембра 2021? Да? Па, слично раним ЦхатГПТ моделима, локално хостовани језички модели се често обучавају само на подацима пре одређеног датума прекида. Као резултат тога, недостаје им свест о недавним дешавањима након тог тренутка.