ЦхатГПТ је ОпенАИ-ов АИ цхатбот који мења игру и који задивљује интернет. Насупрот свим утврђеним технолошким трендовима, није требало дуго да ЦхатГПТ пронађе свој пут у скоро сваку област нашег дигиталног живота.
Врло мало технолошких иновација је изазвало толико интересовања као што је ЦхатГПТ постигао за тако кратко време. Чини се да никад не понестане сјајних трикова—сваког дана учимо о узбудљивим новим стварима за које нисмо знали да може.
Али како је ЦхатГПТ у стању да уради оно што може? Како функционише ЦхатГПТ?
Како је изграђен ЦхатГПТ?
Да бисте разумели како функционише ЦхатГПТ, вреди погледати његово порекло и мозак који стоји иза најсавременијег АИ цхатбот-а.
Прво, колико год ЦхатГПТ изгледао магично, изградио га је геније људи, баш као и сваку вредну софтверску технологију. ОпенАИ је створио ЦхатГПТ, револуционарну компанију за истраживање и развој вештачке интелигенције која стоји иза других моћних АИ алата као што су ДАЛЛ-Е, ИнструцтГПТ и Цодек. Раније смо одговорили
нека питања која можда имате о ЦхатГПТ-у, па погледајте.Док је ЦхатГПТ постао виралан крајем 2022. године, већина основне технологије која покреће ЦхатГПТ постоји много дуже, иако са много мање публицитета. ЦхатГПТ модел је изграђен на врху ГПТ-3 (или, прецизније, ГПТ-3.5). ГПТ је скраћеница за „Генеративе Пре-траинед Трансформер 3“.
ГПТ-3 је трећа итерација ГПТ линије АИ модела, а претходили су му ГПТ-2 и ГПТ. Раније итерације ГПТ модела су подједнако корисне, али ГПТ-3 и фино подешена ГПТ-3.5 итерација су много моћније. Већина онога што ЦхатГПТ може да уради је због основне ГПТ-3 технологије.
Шта је ГПТ?
Тако смо установили да је ЦхатГПТ изграђен на трећој генерацији ГПТ модела. Али шта је уопште ГПТ?
Почнимо тако што ћемо распаковати акрониме на лако сварљив и нетехнички начин.
- „Генератив“ у ГПТ-у представља његову способност да генерише текст на природном људском језику.
- „Претренирано“ представља чињеницу да је модел већ обучен на неком коначном скупу података. Слично као да бисте прочитали књигу или можда неколико књига пре него што сте замољени да одговорите на питања о томе.
- „Трансформер“ представља основну архитектуру машинског учења која покреће ГПТ.
Сада, стављајући све заједно, Генеративни унапред обучени трансформатор (ГПТ) је језички модел који је обучени коришћењем података са интернета са циљем генерисања текста на људском језику када се представи са а промпт. Дакле, више пута смо рекли да је ГПТ обучен, али како је обучен?
Како је ЦхатГПТ обучен?
Сам ЦхатГПТ није био обучен из темеља. Уместо тога, то је фино подешена верзија ГПТ-3.5, која је сама по себи фино подешена верзија ГПТ-3. ГПТ-3 модел је обучен са огромном количином података прикупљених са интернета. Помислите на Википедију, Твиттер и Реддит – били су храњени подацима и људским текстом који је струган са свих углова интернета.
Ако се питате како функционише ГПТ обука, ГПТ-3 је обучен коришћењем комбинације учења под надзором и учења уз помоћ људских повратних информација (РЛХФ). Учење под надзором је фаза у којој се модел обучава на великом скупу података текста пребаченог са интернета. Фаза учења са поткрепљењем је у којој се обучава да произведе боље одговоре који су у складу са оним што би људи прихватили да је и људско и исправно.
Обука уз надгледано учење
Да бисте боље разумели како се учење под надзором и појачањем примењује на ЦхатГПТ, замислите сценарио у коме наставник учи ученика да напише есеј. Учење под надзором било би еквивалентно да наставник даје ученику стотине есеја за читање. Овде је циљ да ученик научи како треба да се пише есеј навикавањем на тон, речник и структуру стотина есеја.
Међутим, међу тим стотинама есеја биће и добрих и лоших. Пошто је ученик био обучен и за добре и за лоше копије, понекад би ученик могао написати лош есеј јер је ученик у неком тренутку био храњен и лошим есејима. То значи да када се замоли да напише есеј, ученик може написати копију која није прихватљива или довољно добра за наставника. Овде долази на сцену учење са појачањем.
Обука са учењем са појачањем
Када наставник утврди да ученик разуме општа правила писања есеја читајући стотине есеја, наставник би потом ученику давао домаћи задатак за често писање есеја. Након тога, наставник би дао повратну информацију о домаћем задатку писања есеја, говорећи ученицима шта су добро урадили и шта би могли да побољшају. Ученик користи повратне информације да би водио наредни домаћи задатак за писање есеја, помажући ученику да се временом побољша.
Ово је слично фази учења са појачањем у обуци ГПТ модела. Након што добије огромну количину текста саструганог са интернета, модел може да одговори на питања. Међутим, његова прецизност неће бити довољно добра. Људски тренери постављају питање моделу и дају повратну информацију о томе који је одговор прикладнији за свако питање.
Модел користи повратне информације како би побољшао своју способност да прецизније одговара на питања и сличније томе како би човек одговорио. Ово је начин на који ЦхатГПТ може да генерише одговоре који звуче људски који су кохерентни, занимљиви и генерално тачни.
Како ЦхатГПТ може да одговори на питања?
Дакле, посетите веб локацију ЦхатГПТ и пријавите се. Питате ЦхатГПТ: „напишите реп песму у стилу Снуп Дога“. Реагује стиховима на реп песму која изгледа невероватно слично ономе што би написао Снуп Дог. Како је то могуће?
Па, „магија“ иза ЦхатГПТ-а је уредно повезана са његовом обуком.
Након што покријете сваки центиметар вашег уџбеника из физике 101, постоји велика шанса да ћете моћи да одговорите на свако питање из њега које вам се постави. Зашто? Зато што сте га прочитали, и научили сте. Иста ствар је и са ЦхатГПТ-ом — он учи. И као што је људска цивилизација показала, уз довољно обуке, могуће је решити скоро сваки проблем.
Иако вероватно можете да управљате стотинама књига током свог живота, ЦхатГПТ или ГПТ су већ потрошили огроман део интернета. То је огромно богатство информација. Тамо, негде, вероватно се налазе текстови бројних песама Снуп Дога. Дакле, наравно, ЦхатГПТ мора да га је конзумирао (запамтите, унапред је обучен) и препознао обрасце у Снооп Договим текстовима. Затим би користио „знање“ овог обрасца да „предвиди“ текст песме која је слична ономе што би Снуп Дог написао.
Овде је нагласак на „предвиђању“. ЦхатГПТ не одговара на питања на исти начин као ми као људи. На пример, када се суочите са питањем попут: „Који је главни град Португала?“ могли бисте рећи Лисабон и рећи то као "чињеницу". Међутим, ЦхатГПТ не одговара на питања са 100% сигурношћу. Уместо тога, покушава да предвиди прави одговор с обзиром на податке које је употребио у свом скупу података за обуку.
ЦхатГПТ-ов приступ одговарању на питања
Да бисте боље разумели концепт предвиђања одговора, замислите да је ЦхатГПТ детектив који има задатак да реши убиство. Детективу су предочени докази, али не знају ко је починио убиство и како се оно догодило. Ипак, уз довољно доказа, детектив може са великом тачношћу да „предвиди” ко је одговоран за убиство и како је злочин почињен.
Након конзумирања података са интернета, ЦхатГПТ одбацује оригиналне податке и чува неуронске везе или обрасце које је научио из података. Ове везе или обрасци су као докази које ЦхатГПТ анализира када покуша да одговори на било који упит.
Дакле, у теорији, ЦхатГПТ је као веома добар детектив. Не зна са сигурношћу шта би требало да буду чињенице одговора, али покушава, са импресивним тачност, да се предвиди логичан след текста на људском језику који би најприкладније одговорио на питање. Овако добијате одговоре на своја питања.
И то је такође разлог зашто неки од тих одговора изгледају веома убедљиво, али су ужасно погрешни.
ЦхатГПТ: Одговара као човек, мисли као машина
Основни технички детаљи ЦхатГПТ-а су сложени. Међутим, са рудиментарног становишта, функционише тако што учи и репродукује оно што је научио када се то затражи, баш као што радимо као људи.
Како се ЦхатГПТ развија кроз истраживање, начин на који функционише може се променити. Међутим, њени основни принципи рада ће остати исти неко време, барем док се не појави нова технологија.