Шта је АИ трансфер учење и како функционише?

Ако сте заинтересовани за обуку сопственог АИ модела за обраду природног језика (НЛП) или компјутерски вид, требало би да се упознате са учењем трансфера и како да користите унапред обучене моделе.

Без трансферног учења, обука ефикасног и поузданог модела често ће представљати напор који не захтева ресурсе и захтева много новца, времена и стручности, а процењује се да је ОпенАИ програмер за ЦхатГПТ потрошио милионе на обуку ГПТ-3, ГПТ-3.5 и ГПТ-4. Уз моћ трансферног учења, можете да обучите сопствени модел моћан као најновији ГПТ модел са мало ресурса у кратком периоду.

Шта је АИ трансфер учење?

Преносно учење је идеја узимања унапред обученог модела као што је БЕРТ или један од различити ГПТ модели и обучавање на прилагођеном скупу података за рад на задацима за које није нужно био обучен.

На пример, можете узети унапред обучени модел за класификацију различитих врста мачака и обучити га да класификује псе. Кроз трансферно учење, обука вашег модела за класификацију паса требало би да траје знатно мање времена и ресурса да постане поуздана као оригинални модел за класификацију мачака.

Ово функционише пошто мачке и пси деле многе особине које претходно обучени модел већ може идентификовати. Пошто модел за класификацију мачака може да идентификује различите особине мачке, као што су четири ноге, крзнени капути и истакнути њушке, модел за класификацију паса може прескочити сву обуку да би идентификовао те особине и наследио их од оригинала модел. Након што сте наследили све те неуронске мреже, тада одсецате последње слојеве обученог модела који се користи за идентификацију специфичнијих особина мачке и замените их скупом података специфичним за псе.

Које АИ моделе можете користити за трансфер учења?

Да бисте користили трансферно учење, биће вам потребан унапред обучени модел. Претходно обучени модел је опште познат као АИ модел обучен у сврху стицања општег знања о одређеној теми или идеји. Ови типови унапред обучених модела су наменски направљени да људи фино подесе и направе моделе који су специфичнији за апликације. Неки од најпопуларнијих унапред обучених модела су за НЛП, нпр БЕРТ и ГПТи компјутерски вид, као што су ВГГ19 и Инцептионв3.

Иако популарни, ови модели који се лако фино подешавају нису једини које можете користити за трансфер учења. Такође можете користити моделе обучене за задатке који су специфичнији од општег препознавања објеката или језика. Све док модел има развијене неуронске мреже применљиве на модел који покушавате да обучите, можете користити било који модел за трансферно учење.

Можете добити јавно доступне унапред обучене моделе са места као што су ТенсорФлов Хуб, Хуггинг Фаце и тржиште модела ОпенАИ.

Предности коришћења АИ трансфер учења

Трансфер учење пружа неколико предности у односу на обуку АИ модела од нуле.

• Смањено време обуке: Када обучавате модел од нуле, велики део процеса обуке се троши на општа основна знања. Путем трансферног учења, ваш модел аутоматски наслеђује све ово основно знање, чиме се значајно смањује време обуке.
• Мањи захтеви за ресурсима: Пошто су сва основна знања већ ту, све што треба да урадите је да додатно обучите модел за специфичности ваше апликације. Ово често захтева само релативно мали скуп података који се може обрадити са мање рачунарске снаге.
• Побољшане перформансе: Осим ако не потрошите милионе долара на изградњу свог модела од нуле, не можете очекивати модел тако добар или поуздан као модел великог језика (ЛЛМ) од гигантске технолошке компаније. Коришћењем трансферног учења, можете искористити моћне могућности ових унапред обучених ЛЛМ, као што је ГПТ, да побољшате перформансе вашег модела.

Обука АИ модела од нуле је могућа, али за то су вам потребни већи ресурси.

Како функционише трансфер учења?

У суштини, постоје три фазе када је у питању трансфер учења.

• Избор унапред обученог модела: Претходно обучени модел пролази кроз почетну обуку користећи приличан скуп података из изворног задатка, као што је ИмагеНет, или велику колекцију текста. Ова почетна фаза обуке омогућава моделу да стекне знање о општим карактеристикама и обрасцима који се налазе у скупу података. Количина времена и ресурса које уштедите од трансферног учења зависиће од сличности између претходно обученог модела и модела који покушавате да изградите.
• Издвајање својстава: Када је претходно обучени модел одабран за фино подешавање, почетни слојеви претходно обученог модела (најближи улазу) су замрзнути; то значи да се њихове тежине држе фиксне током финог подешавања. Замрзавање ових слојева задржава опште знање научено током фазе пре обуке и спречава да на њих у великој мери утиче скуп података специфичних за задатке циљног модела. За моделе који су у потпуности обучени за специфичне апликације, завршни слојеви модела се уклањају или не уче да би циљни модел био обучен у другим специфичним апликацијама.
• Фино подешавање: Након што је претходно обучени модел замрзнут и горњи слојеви уклоњени, нови скуп података се уноси у алгоритам учења, који се затим користи за обуку новог модела и специфичности његове примене.

Има више од три фазе, али овај преглед отприлике описује како функционише процес учења преноса вештачке интелигенције, уз мало финог подешавања.

Ограничења учења АИ трансфера

Иако је трансферно учење вредан концепт у обучавању ефикасних и поузданих модела, постоји доста ограничења која морате да знате када користите трансферно учење за обуку модела.

• Неподударање задатака: Приликом одабира основног модела за трансферно учење, он треба да буде што релевантнији за проблеме које ће нови модел решити. Коришћење модела који класификује мачке за креирање модела за класификацију паса је вероватније да ће дати боље резултате него коришћење модела за класификацију аутомобила за креирање модела за биљке. Што је основни модел релевантнији за модел који покушавате да изградите, то ћете више времена и ресурса уштедети током процеса учења преноса.
• Пристрасност скупа података: Иако се унапред обучени модели често обучавају у великим скуповима података, још увек постоји могућност да су развили одређену пристрасност током обуке. Коришћење веома пристрасног основног модела би такође довело до тога да модел наследи своје предрасуде, чиме би се смањила тачност и поузданост вашег модела. Нажалост, порекло ових предрасуда је тешко утврдити због црна кутија природе дубоког учења.
• Прекомерно опремање: Једна од главних предности трансферног учења је то што можете користити релативно мали скуп података да бисте додатно обучили модел. Међутим, обучавање модела на скупу података који је премали може довести до прекомерног прилагођавања, што значајно смањује поузданост модела када се добијају нови подаци.

Дакле, иако је трансферно учење згодна техника учења АИ, постоје ограничења и то није сребрни метак.

Да ли треба да користите трансферно учење?

Још од доступности унапред обучених модела, трансферно учење се увек користило за прављење специјализованијих модела. Заиста нема разлога да не користите трансферно учење ако већ постоји унапред обучени модел релевантан за проблеме које ће ваш модел решавати.

Иако је могуће обучити једноставан модел машинског учења од нуле, то ће захтевати модел дубоког учења много података, времена и вештина, што неће имати смисла ако можете да промените постојећи модел сличан оном који планирате да воз. Дакле, ако желите да потрошите мање времена и новца у обучавању модела, покушајте да обучите свој модел путем учења путем трансфера.