7 најбољих локалних/офлајн ЛЛМ-ова које можете испробати управо сада

Корисници обично приступају великим језичким моделима (ЛЛМ) коришћењем корисничког интерфејса преко АПИ-ја. Иако пружа неколико предности, коришћење АПИ-ја такође уводи ограничења, као што је потреба за сталним интернетом везу, ограничена прилагођавања, могући безбедносни проблеми и компаније које ограничавају могућности модела кроз а паивалл.

Са квантизованим ЛЛМ-овима који су сада доступни на ХуггингФаце-у и екосистемима АИ као што су Х20, Тект Ген и ГПТ4Алл омогућавајући вам да учитате ЛЛМ тегове на рачунар, сада имате опцију за бесплатно, флексибилно и безбедно АИ.

Да бисте започели, ево седам најбољих локалних/офлајн ЛЛМ-ова које можете користити управо сада!

1. Хермес ГПТК

Најсавременији језички модел фино подешен коришћењем скупа података од 300.000 инструкција компаније Ноус Ресеарцх. Хермес је заснован на Мета ЛлаМА2 ЛЛМ и фино је подешен користећи углавном синтетичке ГПТ-4 излазе.

Употреба ЛлаМА2 као основног модела омогућава Хермесу да удвостручи величину контекста или максималну величину токена од 4,096. Упарујући дугу величину контекста и архитектуру кодера, познато је да Хермес даје дуге одговоре и ниску стопу халуцинација. Ово чини Хермес одличним моделом за разне обрада природног језика (НЛП) задаци, као што су писање кода, креирање садржаја и бити цхатбот.

Постоји неколико квантизација и верзија новог Хермес ГПТК. Препоручујемо вам да прво испробате модел Хермес-Ллама2 13Б-ГПТК, јер је то најлакша верзија за примену, а да и даље има одличне перформансе.

2. Фалцон Инструцт ГПТК

Ова квантизована верзија Фалцон-а заснована је на архитектури само декодера, фино подешеној на врху ТИИ-овог сировог Флацон-7б модела. Основни модел Фалцон-а је обучен коришћењем изванредних 1,5 билиона токена који се налазе на јавном интернету. Као модел само декодера заснован на упутствима лиценциран под Апацхе 2, Фалцон Инструцт је савршен за мала предузећа која траже модел који ће користити за превод језика и унос података.

Међутим, ова верзија Фалцон-а није идеална за фино подешавање и служи само за закључивање. Ако желите да фино подесите Фалцон-а, мораћете да користите сирови модел, који може да захтева приступ хардверу за обуку на нивоу предузећа, као што је НВИДИА ДГКС или АМД Инстинцт АИ акцелератори.

3.ГПТ4АЛЛ-Ј Гроови

ГПТ4Алл-Ј Гроови је модел само за декодер, фино подешен од стране Номиц АИ и лиценциран под Апацхе 2.0. ГПТ4АЛЛ-Ј Гроови је заснован на оригиналном ГПТ-Ј моделу, за који се зна да је одличан у генерисању текста од упита. ГПТ4АЛЛ -Ј Гроови је фино подешен као модел за ћаскање, који је одличан за брзе и креативне апликације за генерисање текста. Ово чини ГПТ4Алл-Ј Гроови идеалним за креаторе садржаја у помагању у писању и креативним радовима, било да се ради о поезији, музици или причама.

Нажалост, основни ГПТ-Ј модел је обучен на скупу података само на енглеском, што значи да чак и овај фино подешен ГПТ4АЛЛ-Ј модел може само да ћаска и извршава апликације за генерисање текста на енглеском.

4.ВизардЦодер-15Б-ГПТК

Тражите модел посебно фино подешен за кодирање? Упркос својој знатно мањој величини, ВизардЦодер је познат као један од најбољих модела кодирања који надмашује друге моделе као што су ЛлаМА-65Б, ИнструцтЦодеТ5+ и ЦодеГееКс. Овај модел је обучен коришћењем Евол-Инструцт методе специфичног за кодирање, која аутоматски уређује ваше упите како би били ефикаснији промпт који се односи на кодирање и који модел може боље да разуме.

Пошто је квантизован у 4-битни модел, ВизардЦодер се сада може користити на обичним рачунарима, где га појединци могу користити за експериментисање и као помоћник за кодирање једноставнијих програма и скриптова.

5. Визард Вицуна Унценсоред-ГПТК

Визард-Вицуна ГПТК је квантизована верзија Визард Вицуна заснована на ЛлаМА моделу. За разлику од већине ЛЛМ-ова објављених за јавност, Визард-Вицуна је нецензурисани модел са уклоњеним поравнањем. То значи да модел нема исте безбедносне и моралне стандарде као већина модела.

Иако је могуће позирати ан Проблем контроле поравнања АИ, поседовање нецензурисаног ЛЛМ-а такође доноси најбоље од модела јер му је дозвољено да одговори без икаквих ограничења. Ово такође омогућава корисницима да додају своје прилагођено поравнање о томе како АИ треба да делује или одговори на основу датог упита.

6. Орца Мини-ГПТК

Желите да експериментишете са моделом обученим на јединственом методу учења? Орца Мини је незванични модел имплементације Мицрософтових истраживачких радова Орца. Обучавано је коришћењем методе учења наставник-ученик, где је скуп података био пун објашњења уместо само савета и одговора. Ово би, у теорији, требало да резултира паметнијим учеником, где модел може да разуме проблем, а не само да тражи парове улаза и излаза, као што је начин на који типични ЛЛМ функционишу.

Са само три милијарде параметара, Орца Мини ГПТК је лако покренути чак и на мање моћним системима. Међутим, овај модел не треба користити за било шта професионално јер генерише лажне информације, пристрасне и увредљиве одговоре. Овај модел би требало да се користи за учење и експериментисање са Орцом и њеним методама.

7.ЛлаМА 2 Цхат ГПТК

ЛлаМА 2 је наследник оригиналног ЛлаМА ЛЛМ, који је изнедрио већину модела на овој листи. ЛлаМА 2 је колекција од неколико ЛЛМ-а, од којих је сваки обучен користећи 7-70 милијарди параметара. Све у свему, ЛлаМА 2 је претходно обучен коришћењем 2 трилиона токена података преузетих из јавно доступних скупова инструкција.

ЛлаМА 2 је намењен за комерцијалну и истраживачку употребу. Као такав, овај модел је најбоље користити након финог подешавања за боље перформансе на одређеним задацима. Овај специфични ЛлаМА 2 модел ГПТК ћаскања је фино подешен и оптимизован за енглески дијалог, што га чини савршен модел за компаније и организације као цхатбот са мало или без додатне обуке потребан. Према условима, компаније које имају мање од 700 милиона корисника могу користити ЛлаМА 2 без плаћања накнаде за лиценцирање од стране Мета или Мицрософта.

Испробајте локалне моделе великих језика данас

Неки од горе наведених модела имају неколико верзија у погледу параметара. Генерално, верзије са вишим параметрима дају боље резултате, али захтевају моћнији хардвер, док ће верзије са нижим параметрима генерисати резултате нижег квалитета, али могу да раде на хардверу ниже класе. Ако нисте сигурни да ли ваш рачунар може да покрене модел, покушајте прво да изаберете верзију са нижим параметрима, а затим наставите док не осетите да пад перформанси више није прихватљив.

Пошто квантизовани модели на овој листи заузимају само неколико гигабајта простора и платформе за примену модела као што су ГПТ4Алл и Тект-Генератион-ВебУИ се лако може инсталирати преко њихових инсталационих програма једним кликом, испробавање неколико модела и верзија модела не би требало да траје много времена и труда.

Па шта чекате? Испробајте локални модел данас!