4 примера који показују да не можете веровати ЗероГПТ-у и другим алатима за откривање вештачке интелигенције

АИ цхатботови су несумњиво моћни и корисни алати. Међутим, могућност да се направи разлика између садржаја генерисаног од стране људи и садржаја генерисаног вештачком интелигенцијом постаје истакнуто питање.

Да би се решио овај проблем, појавили су се алати као што је ЗероГПТ. Они су дизајнирани да праве разлику између вештачке интелигенције и садржаја који генерише људи. Али да ли раде?

Хајде да ближе погледамо алате за откривање вештачке интелигенције и видимо да ли они могу да разликују текст који је генерисао човек и текст генерисан од вештачке интелигенције.

Кажу да је доказ пудинга у јелу. Дакле, хајде да испробамо неке тестове и видимо колико су ови алати ефикасни. Немогуће је тестирати сваки алат, тако да тестирамо један од најпопуларнијих алата — ЗероГПТ.

Што се тиче материјала, сматрали смо да би било прилично забавно да ЦхатГПТ-у покушамо да напишемо увод за овај чланак, а затим га упоредимо са уводом који је „генерисао људи“:

Први тест: Упоређивање људског увода у чланак и АИ-генерисаног

Прва ствар коју смо урадили је да натерамо ЦхатГПТ да направи увод. Унели смо наслов и нисмо му дали више информација. За записник, користили смо ГПТ-3.5 за тест.

Затим смо копирали текст и налепили га у ЗероГПТ. Као што видите, резултати су били мање него сјајни.

Неупадљив почетак, али илуструје колико су ефикасни АИ цхатботови. Да бисмо завршили тест, дозволили смо ЗероГПТ-у да анализира нацрт увода који су направили људи.

Барем је овај део исправан. Све у свему, ЗероГПТ није успео у овој рунди. Утврђено је да је барем део увода генерисаног вештачком интелигенцијом био сумњив, али није успео да истакне одређена питања.

Тест два: Лажно позитиван проблем

Како употреба ЦхатГПТ-а и других АИ алата расте, повећава се вероватноћа да ћете знати или чути да се неко суочио са тврдњама да је њихов рад генерисан АИ. Ове оптужбе су један од озбиљнијих проблема са ЦхатГПТ и алатима за детекцију АИ као што је ЗероГПТ, јер ова врста грешке може оштетити репутацију и утицати на живот.

Лажни позитивни резултати се дешавају када је садржај који су генерисали људи погрешно означени као дело вештачке интелигенције. Као што показује пример у наставку, проблем се лако реплицира. Ја сам страствени риболовац, па сам одлучио да напишем увод у замишљени чланак о пецању на Флориди. Затим сам пустио ЗероГПТ да анализира текст - означио је да је текст 100% генерисан вештачком интелигенцијом.

Да будем искрен, циљао сам на овај резултат. Задржао сам генерички текст и користио сам „продајни“ језик. Али поента да је ово написао човек остаје једнако важећа. Ово није непријатност или нешто што се може једноставно одбацити. Овакве грешке могу имати озбиљне последице за писце, студенте и друге професионалце који стварају писана дела.

Трећи тест: Тестирање ЗероГПТ-а на фикцији

За трећи тест, користићемо ЦхатГПТ и замолити га да напише неку фикцију. Да бисмо то урадили, креирали смо сценарио и подстакли ЦхатГПТ да напише кратак увод у измишљену причу.

Били смо једноставни и само смо тражили да напишемо увод за причу о два странца који се сусрећу на железничком перону:

А ево одговора од ЗероГПТ:

Као што је очигледно из резултата, ЗероГПТ није у стању да разликује чињенице од фикције када се бави фикцијом!

Тест четири: Новински чланци

Постоји нешто узнемирујуће у томе што је вештачка интелигенција у стању да нас обавести о томе шта се дешава у свету око нас. Ово није увек нужно „лажне вести“, јер могу бити релевантне и информативне, али постоје дефинитивне етичке бриге о АИ.

Да будемо поштени према ЗероГПТ-у, показао се добро на овом тесту. Замолили смо ЦхатГПТ и Бинг Цхат да напишу новинске чланке о неколико тема, а ЗероГПТ је то успео сваки пут. Пример у наставку показује исправно декларисање чланка који је генерисао Бинг Цхат као да је 100% генерисан вештачком интелигенцијом.

Алат је тако доследно означавао сваки новински чланак као АИ генерисан да смо одлучили да га тестирамо на лажном чланку вести који смо написали у ту сврху.

Барем је идентификовао неке од чланака као људске, али је означио преко 70% као АИ генерисане. Опет, овде морамо бити поштени; ово је било прилично основно поновно хеширање Бинг чланка и тешко да је био квалитет Пулицерове награде.

Али поента остаје на снази. Ово је написао човек користећи истраживање пронађено на интернету.

Не постоји ниједан разлог за недостатке у алатима као што је ЗероГПТ. Међутим, један фундаментални проблем је ефикасност генеративних АИ цхат робота. Они представљају невероватно моћну технологију која се брзо развија и која их ефективно чини покретном метом за алате за откривање вештачке интелигенције.

АИ цхат ботови непрестано побољшавају квалитет и „људскост“ својих резултата, а то чини задатак изузетно изазовним. Међутим, без обзира на потешкоће, АИ страна једначине мора да донесе одлуку без људског надзора.

Алати као што је ЗероГПТ користе АИ да донесу своје одлуке. Али АИ се не буди само ујутру и зна шта да ради. То мора бити обучено, и ту техничка страна једначине постаје релевантна.

Алгоритамске пристрасности и пристрасности података о обуци су неизбежне, с обзиром на саму величину велике језичке моделе на којима се ови алати обучавају. Ово није проблем који је ограничен на алате за откривање вештачке интелигенције, исте пристрасности могу проузроковати генерисање АИ цхатботова нетачне одговоре и АИ халуцинације.

Међутим, ове грешке се манифестују као нетачне „АИ заставице“ у алатима за откривање. Ово тешко да је идеално, али је одраз тренутног стања АИ технологије. Пристрасности које су својствене подацима о обуци могу довести до лажних позитивних или лажних негативних резултата.

Још један фактор који се мора узети у обзир је шта чини садржај генерисан АИ. Ако се садржај генерисан АИ једноставно преформулише, да ли је то људски или АИ генерисан садржај? Ово представља још један велики изазов — замагљивање линија између њих двоје чини дефинисање машински креираног садржаја готово немогућим.

Поглед у будућност детекције вештачке интелигенције

Ово може звучати као да уништавамо алате као што је ЗероГПТ. Ово није случај; суочавају се са огромним изазовима, а технологија је једва остала без пелена. Брзо усвајање алата као што је ЦхатГПТ створило је потражњу за откривањем вештачке интелигенције, а технологији треба дати прилику да сазри и учи.

Не може се очекивати да ће се од ових алата сами суочити са изазовима које постављају цхат ботови. Али они могу да одиграју драгоцену улогу у усаглашеним и вишеструким напорима за решавање изазова вештачке интелигенције. Они представљају један део веће слагалице која укључује етичке праксе вештачке интелигенције, људски надзор и текуће истраживање и развој.

Изазови са којима се ови алати суочавају су одраз изазова са којима се друштво суочава док се боримо са дилемама повезаним са новим технолошким добом.

АИ или не АИ? То је питање

Алати као што је ЗероГПТ су мањкави, у то нема сумње. Али они нису безвредни и представљају важан корак док покушавамо да управљамо и регулишемо АИ. Њихова прецизност ће се побољшати, али и софистицираност вештачке интелигенције коју су обучени да открију. Негде усред ове трке у наоружању, морамо да пронађемо равнотежу у којој је друштво пријатно.

Питање-АИ или не АИ? То је више од обичне расправе о томе да ли је нешто генерисано вештачком интелигенцијом или не. То је индикативно за већа питања са којима се друштво суочава док се прилагођавамо храбром новом свету вештачке интелигенције.

За записник, и према ЗероГПТ, 27,21% овог закључка је генерисано вештачком интелигенцијом. Хмм.