Како покренути велики језички модел на вашем Распберри Пи

Велики језички модели, генерално (и нетачно) познати као АИ, месецима прете да угрозе свет издаваштва, уметности и права. Једна мана је то што коришћење ЛЛМ-а као што је ЦхатГПТ значи креирање налога и рад на туђем рачунару. Али можете да водите обученог ЛЛМ на свом Распберри Пи-у да пишете поезију, одговарате на питања и још много тога.

Шта је модел великог језика?

Велики језички модели користе алгоритме машинског учења да пронађу односе и обрасце између речи и фраза. Обучени на огромним количинама података, они су у стању да предвиде које речи ће статистички вероватно доћи следеће када им се то затражи.

Ако бисте питали хиљаде људи како се данас осећају, одговори би били у стилу: „Добро сам“, „Могло би бити и горе“, „У реду, али колена ми се дижу“. Разговор би тада скренуо у другом правцу. Можда би се та особа питала о вашем здрављу или би наставила са „Извини, морам да бежим. Касним на посао“.

Имајући у виду ове податке и почетни упит, велики језички модел би требало да буде у стању да дође до сопственог убедљивог и оригиналног одговора, заснованог на вероватноћа да ће одређена реч доћи следећа у низу, у комбинацији са унапред одређеним степеном случајности, казнама за понављање и другим параметрима.

Велики језички модели који се данас користе нису обучени на вокс-попу од неколико хиљада људи. Уместо тога, добијају незамисливу количину података, сакупљених из јавно доступних колекција, платформи друштвених медија, веб страница, архива и повремених прилагођених скупова података.

ЛЛМ обучавају истраживачи људи који ће појачати одређене обрасце и вратити их алгоритму. Када питате велики језички модел „која је најбоља врста пса?“, моћи ће да добије одговор који ће вам рећи да је Џек Расел теријер најбоља врста пса и дати вам разлоге зашто.

Али колико год био интелигентан или убедљиво и људски глуп одговор, ни модел ни машина га тече даље има ум, а они нису у стању да разумеју ни питање ни речи које чине одговор. То је само математика и много података.

Зашто покренути модел великог језика на Распберри Пи?

Велики језички модели су свуда и усвајају их велике компаније за претрагу да помогну у одговарању на упите.

Иако је примамљиво бацити питање природног језика у корпоративну црну кутију, понекад желите да потражите инспирацију или поставите питање без убацивања још података у грло надзорни капитализам.

Као експериментална табла за мајсторе, Распберри Пи рачунар са једном плочом је филозофски, ако не и физички, прикладан за подухват.

У фебруару 2023, Мета (компанија раније позната као Фацебоок) је најавила ЛЛаМА, нови ЛЛМ који се може похвалити језичким моделима између 7 милијарди и 65 милијарди параметара. ЛЛаМА је обучен користећи јавно доступне скупове података,

ЛЛаМА код је отвореног кода, што значи да свако може да га користи и прилагођава, а 'тежине' или параметри су објављени као торенти и магнетне везе у нити о пројекту ГитХуб страница.

У марту 2023, програмер Георги Герганов је објавио ллама.цпп, који може да ради на великом броју хардвера, укључујући Распберри Пи. Код се покреће локално и никакви подаци се не шаљу у Мета.

Инсталирајте ллама.цпп на Распберри Пи

Не постоје објављене смернице за хардвер за ллама.цпп, али је изузетно гладан процесора, РАМ-а и складишта. Уверите се да га користите на Распберри Пи 4Б или 400 са што више меморије, Виртуелна меморија, и ССД простор доступан колико год је то могуће. СД картица га неће пресећи, и кућиште са пристојним хлађењем је обавезна.

Користићемо модел параметара од 7 милијарди, па посетите ово ЛЛамА ГитХуб нит, и преузмите 7Б торрент користећи клијент као што је кБитторрент или Ариа.

Клонирајте ллама.цпп спремиште и затим користите цд команду за прелазак у нови директоријум:

гит клон хттпс://github.com/ggerganov/llama.cpp
цдлама.цпп

Ако немате инсталиран компајлер, инсталирајте га сада са:

судо апт-добити инсталирај г++

Сада компајлирајте пројекат са овом командом:

направити

Постоји шанса да ллама.цпп неће успети да се компајлира и видећете гомилу порука о грешци које се односе на „вдотк_с32“. Ако се то догоди, потребно је да вратите урезивање. Прво, подесите локалног гит корисника:

гит цонфиг усер.наме "Давид"

Сада можете да вратите претходно урезивање:

гит реверт 84д9015

У уређивачу нано текста отвориће се порука гит урезивања. Притисните Цтрл + О да спасе, дакле Цтрл + Кс да изађете из нано. ллама.цпп сада треба да се компајлира без грешака када унесете:

направити

Мораћете да креирате директоријум за пондерисане моделе које намеравате да користите:

мкдир модели

Сада пренесите пондерисане моделе из ЛЛаМа директоријум:

мв ~/Downloads/ЛЛаМА/* ~/ллама.цпп/моделс/

Уверите се да имате Питхон 3 инсталиран на вашем Пи и инсталирајте зависности ллама.цпп:

питхон3 -м пип инсталирај бакља нумпи реченица

Верзија НумПи може изазвати проблеме. Надоградите га:

пип инсталирај нумпи --упграде

Сада конвертујте 7Б модел у ггмл ФП16 формат:

питхон3 цонверт-птх-то-ггмл.пи моделс/7Б/ 1

Претходни корак је изузетно меморијски интензиван и, по нашем мишљењу, користи најмање 16 ГБ РАМ-а. Такође је супер спор и склон неуспеху.

Добићете боље резултате ако паралелно пратите ова упутства на десктоп рачунару, а затим копирате датотеку /models/7B/ggml-model-q4_0.bin на исту локацију на вашем Распберри Пи.

Квантизујте модел на 4 бита:

./куантизе.сх 7Б

То је то. ЛЛаМА ЛЛМ је сада инсталиран на вашем Распберри Пи-у и спреман за употребу!

Коришћење ллама.цпп на Распберри Пи

Да бисте започели са ллама.цпп, уверите се да сте у директоријуму пројекта и унесите следећу команду:

./маин -м ./моделс/7Б/ггмл-модел-к4_0.бин -т 4 -н 128 -п „Шта је Линук кернел?“

Тхе -м опција је да усмерите ллама.цпп на модел који желите да користи; -т означава број нити које желите да користи; -н је број токена за предвиђање; -п је ваш упит. Можете прилагодити било коју и све ове променљиве.

Смирите се на дуго чекање, јер иако је Распберри Пи одличан у ономе што ради, није дизајниран за ову врсту ЦПУ активности. У нашем упитнику за пример, лама је разбио текст на осам појединачних токена, пре него што је дао следећи одговор:

Укратко, Линук кернел се одувек називао оперативним системом. Међутим, то се заправо не сматра једним јер за све практичне сврхе већина његових функција јесте изложени преко АПИ-ја и услужних програма које може користити било који други ОС који жели (или треба) да им приступи АПИ(и). Што се самог Линук кернела тиче, нема много везе са стварним кернелом. Само ће почети, примите конфигурационе параметре од вашег покретачког програма/инитрд-а по избору, а затим га активирајте на неком хардверу и ви се бавите било којим послом који подразумева у овом тренутку

Иако је ово био прилично кохерентан одговор, други покушај је резултирао нечим што личи на грубо исецкану салату од речи:

Већина вас је вероватно чула за то, али заправо не зна о чему причају. О томе ћемо детаљније разговарати јер нам њихово потпуно разумевање помаже да више користимо своје рачунаре ефикасно и такође доносите боље одлуке када купујете нови хардвер или софтвер за своје рачунаре код куће, у канцеларијама итд. Линук језгро је окосница већине оперативних система који ради на рачунарском систему као што је андроид који је оперативни систем отвореног кода базиран делимично на овом кернелу. Али шта тачно мисле када кажу линук кернал?

Линус Торвалдс је записао своје мисли (Знање)

У овом тренутку је вредно поменути да је за сваки од ових одговора било потребно скоро два сата да се произведе, и да су све четири ЦПУ језгра радиле на 100%. Међутим, рад на пројекту се брзо одвија и можете очекивати да ће предстојеће АРМ оптимизације смањити време.

Такође можете симулирати читаве разговоре са својим ЛЛМ уместо да му шаљете упите један по један. Додавање -и опција ће покренути ламу у интерактивном режиму, док --интерацтиве-старт ће од вас тражити унос на почетку. За потпуну листу доступних опција, покрените:

главни -х

Имајте на уму да ЛлаМА нема рестриктивна правила. Повремено ће бити сексистички, расистички, хомофобични и веома погрешни.

Модел великог језика није замена за право знање

Покретање Мета-иног ЛЛаМА-а на Распберри Пи-у је сулудо цоол и можда ћете бити у искушењу да се обратите свом виртуелном гуруу за техничка питања, животни савет, пријатељство или као прави извор знања. Немојте се заваравати. Велики језички модели не знају ништа, не осећају ништа и ништа не разумеју. Ако вам треба помоћ у нечему, боље је да разговарате са човеком или да прочитате нешто што је човек написао.

Ако вам недостаје времена, можете га брзо прочитати у свом Линук терминалу!