Како да блокирате АИ четботе да скрећу садржај ваше веб странице

Како ствари стоје, АИ цхат ботови имају бесплатну лиценцу за скенирање ваше веб странице и коришћење њеног садржаја без ваше дозволе. Забринути сте због тога што такви алати скраћу ваш садржај?

Добра вест је да можете спречити АИ алате да приступе вашој веб локацији, али постоје нека упозорења. Овде вам показујемо како да блокирате ботове помоћу датотеке роботс.ткт за вашу веб локацију, плус предности и недостатке тога.

Како АИ четботи приступају вашем веб садржају?

АИ цхат ботови се обучавају коришћењем више скупова података, од којих су неки отвореног кода и јавно доступни. На пример, ГПТ3 је обучен коришћењем пет скупова података, према истраживачки рад који је објавио ОпенАИ:

1. Цоммон Цравл (60% тежине у тренингу)
2. ВебТект2 (22% тежине у тренингу)
3. Књиге1 (8% тежине у тренингу)
4. Боокс2 (8% тежине у тренингу)
5. Википедија (3% тежине у тренингу)

Цоммон Цравл укључује петабајте (хиљаде ТБ) података са веб локација прикупљених од 2008, слично начину на који Гоогле-ов алгоритам за претрагу пописује веб садржај. ВебТект2 је скуп података који је креирао ОпенАИ, који садржи отприлике 45 милиона веб страница на које се повезују из постова на Реддиту са најмање три гласа.

Дакле, у случају ЦхатГПТ-а, АИ бот не приступа вашим веб страницама и не индексира их директно – у сваком случају још увек. Иако, ОпенАИ најава веб претраживача који хостује ЦхатГПТ је изразио забринутост да би се ово могло променити.

У међувремену, власници веб локација треба да пазе на друге АИ цхат ботове, јер их све више долази на тржиште. Бард је друго велико име у овој области, о коме се врло мало зна скупови података који се користе за обуку. Очигледно је да знамо да Гоогле-ови ботови за претрагу непрестано претражују веб странице, али то не значи нужно да Бард има приступ истим подацима.

Зашто су неки власници веб локација забринути?

Највећа брига за власнике веб локација је да АИ ботови као што су ЦхатГПТ, Бард и Бинг Цхат обезвређује њихов садржај. АИ ботови користе постојећи садржај да генеришу своје одговоре, али и смањују потребу за корисницима да приступе оригиналном извору. Уместо да корисници посећују веб-сајтове да би приступили информацијама, они могу једноставно да натерају Гоогле или Бинг да генеришу резиме информација које су им потребне.

Када су у питању АИ цхатботови у претрази, велика брига за власнике веб локација је губитак саобраћаја. У случају Барда, АИ бот ретко укључује цитате у своје генеративне одговоре, говорећи корисницима са којих страница добија информације.

Дакле, осим што посете веб локацији замењује одговорима вештачке интелигенције, Бард уклања скоро сваку шансу да изворна веб локација добије саобраћај – чак и ако корисник жели више информација. Бинг Цхат се, с друге стране, чешће повезује са изворима информација.

Другим речима, тренутна флота генеративних АИ алата је користећи рад креатора садржаја систематски заменити потребу за креаторима садржаја. На крају крајева, морате питати какав подстицај ово оставља власницима веб локација да настави са објављивањем садржаја. И даље, шта се дешава са АИ ботовима када веб локације престану да објављују садржај на који се ослањају да би функционисао?

Како блокирати АИ ботове са своје веб странице

Ако не желите да АИ ботови користе ваш веб садржај, можете им блокирати приступ вашој веб локацији помоћу роботс.ткт фајл. Нажалост, морате блокирати сваког појединачног бота и навести га именом.

На пример, Цоммон Цравл бот се зове ЦЦБот и можете га блокирати додавањем следећег кода у датотеку роботс.ткт:

Кориснички агент: ЦЦбот
Дисаллов: /

Ово ће блокирати Цоммон Цравл да убудуће пописује вашу веб локацију, али неће уклонити податке који су већ прикупљени из претходних пописивања.

Ако сте забринути да ЦхатГПТ-ови нови додаци приступају вашем веб садржају, ОпенАИ је већ објавио упутства за блокирање његовог бота. У овом случају, ЦхатГПТ-ов бот се зове ЦхатГПТ-Усер и можете га блокирати додавањем следећег кода у датотеку роботс.ткт:

Кориснички агент: ЦхатГПТ-Корисник
Дисаллов: /

Међутим, блокирање АИ робота претраживача да претражују ваш садржај представља сасвим други проблем. Пошто је Гоогле веома тајновит у вези са подацима о обуци које користи, немогуће је идентификовати које ботове ћете морати да блокирате и да ли ће они уопште поштовати команде у вашем роботс.ткт датотеку (многи пописивачи не раде).

Колико је ефикасна ова метода?

Блокирање АИ ботова у вашем роботс.ткт датотека је најефикаснији метод који је тренутно доступан, али није нарочито поуздан.

Први проблем је што морате да наведете сваког бота којег желите да блокирате, али ко може да прати сваки АИ бот који излази на тржиште? Следеће питање су команде у вашем роботс.ткт фајл су необавезна упутства. Док Цоммон Цравл, ЦхатГПТ и многи други ботови поштују ове команде, многи ботови не.

Друго велико упозорење је да можете блокирати само АИ ботове да изводе будућа претраживања. Не можете да уклоните податке из претходних пописивања или да шаљете захтеве компанијама као што је ОпенАИ да избришу све ваше податке.

Нажалост, не постоји једноставан начин да блокирате све АИ ботове да приступе вашој веб локацији, а ручно блокирање сваког појединачног бота је скоро немогуће. Чак и ако будете у току са најновијим АИ ботовима који лутају интернетом, нема гаранције да ће се сви придржавати команди у вашем роботс.ткт фајл.

Право питање је да ли су резултати вредни труда, а кратак одговор је (готово сигурно) не.

Постоје и потенцијални недостаци блокирања АИ ботова са ваше веб локације. Највише од свега, нећете моћи да прикупите значајне податке да бисте доказали да ли алати као што је Бард доносе корист или штете вашој стратегији маркетинга за претрагу.

Да, можете претпоставити да је недостатак цитата штетан, али само нагађате да ли вам недостају подаци јер сте блокирали АИ ботове да приступе вашем садржају. Била је слична прича када је Гоогле први пут представио истакнути исечци потражити.

За релевантне упите, Гоогле приказује исечак садржаја са веб страница на страници са резултатима, одговарајући на питање корисника. То значи да корисници не морају да кликну на веб локацију да би добили одговор који траже. Ово је изазвало панику међу власницима веб локација и СЕО стручњацима који се ослањају на генерисање саобраћаја из упита за претрагу.

Међутим, врсте упита које покрећу истакнуте исечке су углавном претраге ниске вредности попут „шта је Кс“ или „какво је време у Њујорку“. Свако ко жели детаљне информације или свеобухватан временски извештај и даље ће кликнути, а они који не желе никада нису били толико драгоцени.

Можда ћете открити да је то слична прича са генеративним АИ алатима, али ће вам бити потребни подаци да то докажете.

Не журите ни са чим

Власници веб локација и издавачи су разумљиво забринути због АИ технологије и фрустрирани идејом да ботови користе њихов садржај за генерисање тренутних одговора. Међутим, ово није време за журбу у контраофанзивне потезе. АИ технологија је поље које се брзо креће и ствари ће наставити да се развијају брзим темпом. Искористите ову прилику да видите како се ствари одвијају и анализирајте потенцијалне претње и могућности које АИ доноси.

Тренутни систем ослањања на рад креатора садржаја да их замени није одржив. Било да компаније попут Гугла и ОпенАИ мењају свој приступ или владе уводе нове прописе, нешто мора да пружи. У исто време, негативне импликације АИ цхатбот-а на креирање садржаја постају све очигледније, што власници веб локација и креатори садржаја могу да искористе у своју корист.