Направите личног АИ цхат бота тако што ћете локално покренути велики језички модел на вашој Линук машини.
Велики језички модели имају потенцијал да револуционишу начин на који живите и радите, и могу водити разговоре и одговарати на питања са променљивим степеном тачности.
Да бисте га користили, обично вам је потребан налог код провајдера ЛЛМ и да се пријавите преко веб локације или наменске апликације. Али да ли сте знали да свој велики језички модел можете покренути потпуно ван мреже на Линук-у?
Зашто покренути модел великог језика на Линук-у?
Велики језички модели (ЛЛМ) ових дана су свуда и могу да обрађују природни језик и дају одговарајуће одговоре који вас могу заварати да мислите да је човек одговорио. Мицрософт уводи нову верзију Бинга са АИ, док је Алпхабет'с Бард је сада саставни део Гоогле претрага.
Далеко од претраживача, можете користити такозване „АИ цхат ботове“ да одговарате на питања, компонујете поезију или чак радите свој домаћи задатак уместо вас.
Али приступањем ЛЛМ-овима на мрежи, зависите од добре воље провајдера треће стране—која се може повући у било ком тренутку.
Такође сте подложни ограничењима употребе. Замолите ОпенАИ да напише еротску новелу од 6.000 речи смештену у нацистичку Немачку, на пример, и добићете одговор у стилу „Извињавам се, али нећу моћи да генеришем ту причу за вас“.
Све што унесете у онлајн ЛЛМ користи се за њихову даљу обуку, а подаци за које можда желите да остану поверљиви могу бити избачени у будућности као део одговора на нечије питање.
Такође сте подложни недостатку услуге јер је систем преплављен корисницима и приговара да се претплатите, тако да можете да приступите платформи када је потражња велика.
Далаи је бесплатна и отворена имплементација Мета-е ЛЛаМа ЛЛМ и Станфордове Алпаца. Радиће удобно на скромном хардверу и пружа згодан веб интерфејс и низ брзих шаблона – тако да можете питати шта год ако желите, без страха да ће администратор затворити ваш налог, ЛЛМ ће одбити да одговори, или ће ваша веза прекинути кап.
Када инсталирате ЛЛМ локално на Линук, он је ваш и можете га користити како год желите.
Како инсталирати Далаи на Линук
Најлакши начин да инсталирате Далаи на Линук је да користите Доцкер и Доцкер Цомпосе. Ако их већ немате, погледајте наш водич о томе како да их урадите инсталирајте Доцкер и Доцкер Цомпосе.
Када то скинете с пута, спремни сте да почнете да инсталирате Далаи. Клонирајте Далаи ГитХуб спремиште и користите команду цд да бисте у њега прешли:
гит цлоне https://github.com/cocktailpeanut/dalai.git && цд далаиДа бисте покренули Далаи са веб интерфејсом, прво направите датотеку Доцкер Цомпосе:
доцкер-цомпосе буилдДоцкер Цомпосе ће преузети и инсталирати Питхон 3.11, Ноде Версион Манагер (НВМ) и Ноде.јс.
У фази седам од девет, изгледа да ће се буилд замрзнути док Доцкер Цомпосе преузима Далаи. Не брините: проверите употребу пропусног опсега да бисте се уверили да се нешто дешава, и симулирајте еволуцију виртуелних организама у вашем терминалу док чекаш.
На крају ћете бити враћени на командну линију.
Далаи и ЛЛаМа/Алпаца модели захтевају много меморије за рад. Иако не постоји званична спецификација, добар груби водич је 4 ГБ за модел 7Б, 8 ГБ за модел 13Б, 16 ГБ за модел 30Б и 32 ГБ за модел 65Б.
Модели Алпаца су релативно мали, са моделом 13Б који достиже скромних 7,6 ГБ, али ЛЛаМА тежине могу бити огромне: Еквивалентно преузимање од 13Б долази са 60,21ГБ, а модел 65Б ће заузети епских пола терабајта на вашем хард-у диск.
Одлучите који модел је најпогоднији за ваше ресурсе и користите следећу команду да бисте га инсталирали:
доцкер-цомпосе покрените далаи нпк далаи алпаца инсталл 13БИли:
доцкер-цомпосе рун далаи нпк далаи ллама инсталл 13БПостоји шанса да су модели преузети преко Далаија можда оштећени. Ако је то случај, зграбите их Хуггинг Фаце уместо тога.
Након што се вратите у командну линију, покрените Доцкер Цомпосе у одвојеном режиму:
доцкер-цомпосе уп -дПроверите да ли контејнер ради исправно помоћу:
доцкер-цомпосе псАко све ради како треба, отворите веб прегледач и унесите локални хост: 3000 у адресној траци.
Забавите се са сопственим великим језичким моделом на Линук-у
Када се отвори веб интерфејс, видећете оквир за текст у који можете да упишете своје упите.
Писање ефикасних упутстава је тешко, а Далаи програмери су од помоћи обезбедили низ шаблона који ће вам помоћи да добијете користан одговор од Далаија.
Су АИ-дијалог, Цхатбот, Уобичајено, Упутство, Препиши, превести, и Твеет-сентимент.
Као што бисте очекивали, АИ-дијалог и Цхатбот шаблони су структурирани на начин који вам омогућава да водите неку врсту разговора са ЛЛМ. Главна разлика између њих двојице је у томе што би цхатбот требало да буде „веома интелигентан“, док је АИ-дијалог „услужан, љубазан, послушан, поштен и познаје сопствене границе“.
Наравно, ово је ваш "АИ", и ако вам се свиђа, можете да промените промпт тако да цхатбот буде глуп, а карактеристике АИ дијалога су "садистичке" и "бескорисне". До тебе је.
Тестирали смо превести функционишу тако што копирају почетни пасус вести ББЦ-ја и траже од Далаија да је преведе на шпански. Превод је био добар, а када смо га провели преко Гоогле преводиоца да га вратимо на енглески, открили смо да је прилично читљив и да одражава чињенице и осећај оригиналног дела.
Исто тако, тхе Препиши шаблон је убедљиво завртио текст у отварање новог чланка.
Тхе Уобичајено и Упутство упити су структурирани тако да вам помогну да постављате питања или директно упутите Далаија.
Далаијева тачност одговора ће увелико варирати у зависности од модела који користите. Модел 30Б ће бити много кориснији од модела 7Б. Али чак и тада, подсећате се да су ЛЛМ једноставно софистицирани системи за погађање следеће речи у реченици.
Ни модели 7Б ни 13Б Алпака нису били у стању да пруже тачан резиме кратке приче од 200 речи „Мачка у Киша“ Ернеста Хемингвеја, и обојица су саставила темељно убедљиве линије заплета и детаље о томе шта прича садржане.
И док ће „корисни, љубазни, послушни, поштени“ АИ-дијалог који „зна своје границе“ и „веома интелигентан“ четбот замерати контроверзна упутства, можете дати Далаију директну инструкцију или подразумевани захтев, и он ће написати шта год желите—како год желите то.
Велики језички модел на вашој Линук машини је ваш
Покретањем великог језичког модела на сопственој Линук кутији, нисте подложни надзору или повлачењу услуге. Можете га користити како вам одговара без страха од последица због кршења политике корпоративног садржаја.
Ако су ваши рачунарски ресурси мали, можете чак и локално покренути ЛЛМ на скромном Распберри Пи-у.
