Како преузети и инсталирати Ллама 2 локално

Мета је издала Лламу 2 у лето 2023. Нова верзија Лламе је фино подешена са 40% више токена од оригиналног Ллама модела, удвостручујући дужину контекста и значајно надмашујући друге доступне моделе отвореног кода. Најбржи и најлакши начин за приступ Ллами 2 је преко АПИ-ја преко онлајн платформе. Међутим, ако желите најбоље искуство, најбоље је инсталирати и учитати Ллама 2 директно на рачунар.

Имајући то на уму, направили смо водич корак по корак о томе како да користите Тект-Генератион-ВебУИ да учитате квантизовани Ллама 2 ЛЛМ локално на ваш рачунар.

Зашто инсталирати Ллама 2 локално

Постоји много разлога зашто људи бирају да директно покрећу Лламу 2. Неки то раде због приватности, неки због прилагођавања, а други због могућности ван мреже. Ако истражујете, фино подешавате или интегришете Ллама 2 за своје пројекте, онда приступ Ллама 2 преко АПИ-ја можда није за вас. Сврха локалног покретања ЛЛМ-а на вашем рачунару је да смањите ослањање на њега

АИ алати треће стране и користите вештачку интелигенцију било када и било где, без бриге о цурењу потенцијално осетљивих података компанијама и другим организацијама.

Уз то, почнимо са водичем корак по корак за локално инсталирање Лламе 2.

Да бисмо поједноставили ствари, користићемо програм за инсталацију једним кликом за Тект-Генератион-ВебУИ (програм који се користи за учитавање Ллама 2 са ГУИ). Међутим, да би овај инсталатер радио, потребно је да преузмете алатку за прављење Висуал Студио 2019 и инсталирате неопходне ресурсе.

Преузимање:Висуал Студио 2019 (Бесплатно)

1. Само напред и преузмите издање софтвера за заједницу.
2. Сада инсталирајте Висуал Студио 2019, а затим отворите софтвер. Када се отвори, означите поље Развој десктопа са Ц++ и притисните инсталл.

Сада када имате инсталиран развој радне површине са Ц++, време је да преузмете програм за инсталацију Тект-Генератион-ВебУИ једним кликом.

Корак 2: Инсталирајте Тект-Генератион-ВебУИ

Тект-Генератион-ВебУИ програм за инсталацију једним кликом је скрипта која аутоматски креира потребне фасцикле и поставља Цонда окружење и све неопходне захтеве за покретање АИ модела.

Да бисте инсталирали скрипту, преузмите програм за инсталацију једним кликом кликом на Код > Преузмите ЗИП.

Преузимање:Тект-Генератион-ВебУИ Инсталлер (Бесплатно)

1. Након преузимања, распакујте ЗИП датотеку на жељену локацију, а затим отворите извучену фасциклу.
2. У оквиру фасцикле, померите се надоле и потражите одговарајући програм за покретање за ваш оперативни систем. Покрените програме двоструким кликом на одговарајућу скрипту.
   • Ако користите Виндовс, изаберите старт_виндовс батцх фајл
   • за МацОС, изаберите старт_мацос схелл сцрип
   • за Линук, старт_линук схелл сцрипт.
3. Ваш антивирус може да створи упозорење; ово је добро. Упозорење је само антивирусни лажно позитиван за покретање батцх датотеке или скрипте. Кликните на Свеједно бежи.
4. Отвориће се терминал и започети подешавање. У почетку, подешавање ће паузирати и питати вас који ГПУ користите. Изаберите одговарајући тип ГПУ-а инсталираног на вашем рачунару и притисните ентер. За оне који немају наменску графичку картицу, изаберите Ништа (желим да покрећем моделе у ЦПУ режиму). Имајте на уму да је рад у ЦПУ режиму много спорији у поређењу са покретањем модела са наменским ГПУ-ом.
5. Када се подешавање заврши, сада можете локално покренути Тект-Генератион-ВебУИ. То можете учинити отварањем жељеног веб претраживача и уношењем наведене ИП адресе на УРЛ.
6. ВебУИ је сада спреман за употребу.

Међутим, програм је само учитавач модела. Хајде да преузмемо Ллама 2 за покретање учитавача модела.

Корак 3: Преузмите Ллама 2 модел

Постоји доста ствари које треба узети у обзир када одлучујете која вам је итерација Лламе 2 потребна. То укључује параметре, квантизацију, оптимизацију хардвера, величину и употребу. Све ове информације ће се наћи означене у називу модела.

• Параметри: Број параметара који се користе за обуку модела. Већи параметри чине моделе способнијим, али по цену перформанси.
• Употреба: Може бити стандардно или за ћаскање. Модел ћаскања је оптимизован да се користи као цхатбот као што је ЦхатГПТ, док је стандард подразумевани модел.
• Оптимизација хардвера: Односи се на то који хардвер најбоље покреће модел. ГПТК значи да је модел оптимизован за рад на наменском ГПУ-у, док је ГГМЛ оптимизован за рад на ЦПУ-у.
• квантизација: Означава прецизност тежина и активација у моделу. За закључивање, прецизност к4 је оптимална.
• Величина: Односи се на величину конкретног модела.

Имајте на уму да неки модели могу бити другачије распоређени и можда чак немају исте врсте приказаних информација. Међутим, ова врста конвенције именовања је прилично уобичајена у ХуггингФаце Библиотека модела, тако да је и даље вредно разумевања.

У овом примеру, модел се може идентификовати као Ллама 2 модел средње величине обучен на 13 милијарди параметара оптимизованих за закључивање ћаскања помоћу наменског ЦПУ-а.

За оне који раде на наменском ГПУ-у, изаберите а ГПТК модел, док за оне који користе ЦПУ, изаберите ГГМЛ. Ако желите да разговарате са моделом као са ЦхатГПТ, изаберите Ћаскање, али ако желите да експериментишете са моделом са свим његовим могућностима, користите стандардне модел. Што се тиче параметара, знајте да ће коришћење већих модела дати боље резултате на рачун перформанси. Лично бих вам препоручио да почнете са 7Б моделом. Што се тиче квантизације, користите к4, јер је само за закључивање.

Преузимање:ГГМЛ (Бесплатно)

Преузимање:ГПТК (Бесплатно)

Сада када знате која итерација Ллама 2 вам је потребна, преузмите модел који желите.

У мом случају, пошто ово користим на ултрабоок-у, користићу ГГМЛ модел фино подешен за ћаскање, ллама-2-7б-цхат-ггмлв3.к4_К_С.бин.

Након што је преузимање завршено, поставите модел тект-генератион-вебуи-маин > модели.

Сада када сте свој модел преузели и ставили у фасциклу модела, време је да конфигуришете учитавач модела.

Корак 4: Конфигуришите Тект-Генератион-ВебУИ

Сада, хајде да започнемо фазу конфигурације.

1. Још једном отворите Тект-Генератион-ВебУИ тако што ћете покренути старт_(ваш ОС) датотеку (погледајте претходне кораке изнад).
2. На картицама које се налазе изнад ГУИ, кликните Модел. Кликните на дугме за освежавање у падајућем менију модела и изаберите свој модел.
3. Сада кликните на падајући мени Модел лоадер и изаберите АутоГПТК за оне који користе ГТПК модел и цтрансформерс за оне који користе ГГМЛ модел. На крају, кликните на Учитај да учитате свој модел.
4. Да бисте користили модел, отворите картицу Ћаскање и почните да тестирате модел.

Честитамо, успешно сте учитали Ллама2 на ваш локални рачунар!

Испробајте друге ЛЛМ

Сада када знате како да покренете Ллама 2 директно на рачунару користећи Тект-Генератион-ВебУИ, требало би да будете у могућности да покренете и друге ЛЛМ осим Лламе. Само запамтите конвенције именовања модела и да само квантизоване верзије модела (обично к4 прецизности) могу да се учитају на обичне рачунаре. Многи квантизовани ЛЛМ-ови доступни су на ХуггингФаце-у. Ако желите да истражите друге моделе, потражите ТхеБлоке у библиотеци модела ХуггингФаце-а и требало би да пронађете много доступних модела.