Како исправно подесити роботс.ткт за своју веб локацију

Реклама

ако ти покренути веб локацију 10 начина да направите малу и једноставну веб локацију без претеривањаВордПресс може бити претерано. Као што доказују ови други одлични сервиси, ВордПресс није све и није крај креирања веб страница. Ако желите једноставнија решења, можете бирати између њих. Опширније , вероватно сте чули за датотеку роботс.ткт (или „стандард за изузимање робота“). Било да јесте или не, време је да научите о томе, јер је ова једноставна текстуална датотека кључни део ваше веб локације. Можда изгледа безначајно, али можда ћете се изненадити колико је то важно.

Хајде да погледамо шта је датотека роботс.ткт, шта она ради и како да је правилно подесите за своју веб локацију.

Шта је датотека роботс.ткт?

Да бисте разумели како функционише датотека роботс.ткт, морате да знате мало о претраживачима Како функционишу претраживачи?За многе људе, Гоогле ЈЕ интернет. То је вероватно најважнији изум од самог Интернета. И док су се претраживачи од тада доста променили, основни принципи су и даље исти. Опширније

. Кратка верзија је да они шаљу „пузаче“, који су програми који претражују интернет у потрази за информацијама. Затим чувају неке од тих информација како би касније могли да усмере људе на њих.

Ови претраживачи, такође познати као „ботови“ или „пауци“, проналазе странице са милијарди веб локација. Претраживачи им дају упутства где да иду, али појединачне веб странице такође могу комуницирати са ботовима и рећи им које странице треба да гледају.

Већину времена они заправо раде супротно и говоре им које странице имају не би требало гледати у. Ствари као што су административне странице, позадински портали, странице са категоријама и ознакама и друге ствари које власници сајтова не желе да се приказују на претраживачима. Ове странице су и даље видљиве корисницима и доступне су свима који имају дозволу (а то су често сви).

Али говорећи тим пауцима да не индексирају неке странице, датотека роботс.ткт свима чини услугу. Ако сте тражили „МакеУсеОф“ на претраживачу, да ли бисте желели да се наше административне странице приказују високо на ранг листи? Не. То никоме не би користило, па кажемо претраживачима да их не приказују. Такође се може користити да спречи претраживаче да проверавају странице које им можда неће помоћи да класификују ваш сајт у резултатима претраге.

Укратко, роботс.ткт говори веб пописивачима шта да раде.

Могу ли пописивачи да игноришу роботс.ткт?

Да ли пописивачи икада игноришу датотеке роботс.ткт? Да. У ствари, много пузача урадити игнориши то. Међутим, генерално, ти претраживачи нису из реномираних претраживача. Они су од пошиљалаца нежељене поште, сакупљача е-поште и друге врсте аутоматизованих ботова Како да направите основни веб претраживач за повлачење информација са веб локацијеДа ли сте икада желели да ухватите информације са веб локације? Ево како да напишете пописивач да се креће по веб локацији и извуче оно што вам треба. Опширније који лутају интернетом. Важно је ово имати на уму - коришћење стандарда за искључење робота да каже ботовима да се држе подаље није ефикасна безбедносна мера. У ствари, неки ботови би могли почетак са страницама на које им кажете да не иду.

Међутим, претраживачи ће радити онако како ваша датотека роботс.ткт каже све док је правилно форматирана.

Како написати роботс.ткт датотеку

Постоји неколико различитих делова који улазе у стандардну датотеку за изузимање робота. Овде ћу их разложити сваког појединачно.

Декларација корисничког агента

Пре него што кажете боту које странице не би требало да гледа, морате да наведете са којим ботом разговарате. Већину времена ћете користити једноставну декларацију која значи „сви ботови“. то изгледа овако:

Кориснички агент: *

Звездица означава „све ботове“. Међутим, можете одредити странице за одређене ботове. Да бисте то урадили, мораћете да знате име бота за који постављате смернице. То би могло изгледати овако:

Кориснички агент: Гооглебот. [листа страница које се не пописују] Кориснички агент: Гооглебот-Имаге/1.0. [листа страница које се не пописују] Кориснички агент: Бингбот. [листа страница које се не пописују]

И тако даље. Ако откријете бота који уопште не желите да пописује вашу веб локацију, можете и то да одредите.

Да бисте пронашли имена корисничких агената, погледајте усерагентстринг.цом [више није доступно].

Дисалловинг Пагес

Ово је главни део ваше датотеке искључења робота. Једноставном декларацијом кажете боту или групи ботова да не индексирају одређене странице. Синтакса је лака. Ево како бисте онемогућили приступ свему у „админ“ директоријуму вашег сајта:

Дисаллов: /админ/

Та линија би спречила ботове да претраже иоурсите.цом/админ, иоурсите.цом/админ/логин, иоурсите.цом/админ/филес/сецрет.хтмл и било шта друго што спада у администраторски директоријум.

Да бисте забранили једну страницу, само је наведите у реду за забрану:

Дисаллов: /публиц/екцептион.хтмл

Сада страница „изузетак“ неће бити извучена, али ће све остало у „јавном“ фолдеру.

Да бисте укључили више директоријума или страница, само их наведите у следећим редовима:

Дисаллов: /приватно/ Дисаллов: /админ/ Дисаллов: /цги-бин/ Дисаллов: /темп/

Та четири реда ће се применити на било који кориснички агент који сте навели на врху одељка.

Ако желите да спречите ботове да гледају било коју страницу на вашем сајту, користите ово:

Дисаллов: /

Постављање различитих стандарда за ботове

Као што смо видели горе, можете одредити одређене странице за различите ботове. Комбинујући претходна два елемента, ево како то изгледа:

Кориснички агент: гооглебот. Дисаллов: /админ/ Дисаллов: /приватно/ Кориснички агент: бингбот. Дисаллов: /админ/ Дисаллов: /приватно/ Дисаллов: /тајна/

Одељак „администратор“ и „приватни“ биће невидљиви на Гоогле-у и Бинг-у, али ће Гоогле видети „тајни“ директоријум, док Бинг неће.

Можете да наведете општа правила за све ботове помоћу корисничког агента астериск, а затим да дате конкретна упутства ботовима у наредним одељцима.

Све састављање

Уз горенаведено знање, можете написати комплетну датотеку роботс.ткт. Само покрените свој омиљени уређивач текста (ми смо фанови Сублиме 11 савета за узвишени текст за продуктивност и бржи радни токСублиме Тект је свестрани уређивач текста и златни стандард за многе програмере. Наши савети се фокусирају на ефикасно кодирање, али обични корисници ће ценити пречице на тастатури. Опширније овде) и почните да ботовима дајете до знања да нису добродошли у одређеним деловима вашег сајта.

Ако желите да видите пример датотеке роботс.ткт, само идите на било коју локацију и додајте „/роботс.ткт“ на крај. Ево дела Гиант Бицицлес роботс.ткт датотеке:

Као што видите, постоји доста страница које не желе да се приказују на претраживачима. Они су такође укључили неколико ствари о којима још нисмо разговарали. Хајде да погледамо шта још можете да урадите у датотеци за изузимање робота.

Проналажење ваше Ситемап

Ако ваша датотека роботс.ткт говори ботовима где не ићи, твој мапа сајта ради супротно Како направити КСМЛ Ситемап у 4 једноставна коракаПостоје две врсте мапа сајта – ХТМЛ страница или КСМЛ датотека. ХТМЛ мапа сајта је једна страница која посетиоцима приказује све странице на веб локацији и обично има везе до тих... Опширније , и помаже им да пронађу оно што траже. И док претраживачи вероватно већ знају где се налази ваша мапа сајта, није шкодило да их поново обавестите.

Декларација за локацију мапе сајта је једноставна:

Мапа сајта: [УРЛ мапе сајта]

То је то.

У нашој датотеци роботс.ткт, то изгледа овако:

Мапа сајта: //ввв.макеусеоф.цом/ситемап_индек.кмл

То је све.

Подешавање одлагања индексирања

Директива о одлагању пописивања говори одређеним претраживачима колико често могу да индексирају страницу на вашем сајту. Мери се у секундама, иако га неки претраживачи тумаче мало другачије. Неки виде одлагање пузања од 5 као да им говоре да сачекају пет секунди након сваког пузања да започну следеће. Други то тумаче као инструкцију да се индексира само једна страница сваких пет секунди.

Зашто бисте рекли пузачу да не пузи што је више могуће? До сачувати пропусни опсег 4 начина на која Виндовс 10 троши вашу интернет пропусностДа ли Виндовс 10 троши вашу интернет пропусност? Ево како да проверите и шта можете да урадите да то спречите. Опширније . Ако се ваш сервер мучи да одржи корак са саобраћајем, можда ћете желети да уведете одлагање индексирања. Генерално, већина људи не мора да брине о томе. Велики сајтови са великим прометом, међутим, можда желе мало да експериментишу.

Ево како подешавате кашњење индексирања од осам секунди:

Кашњење пузања: 8

То је то. Неће сви претраживачи поштовати вашу директиву. Али не шкоди питати. Као и са забраном страница, можете подесити различита одлагања пописивања за одређене претраживаче.

Отпремање датотеке роботс.ткт

Када поставите сва упутства у датотеци, можете да је отпремите на своју веб локацију. Уверите се да је то обична текстуална датотека и да има име роботс.ткт. Затим га отпремите на своју веб локацију тако да се може наћи на иоурсите.цом/роботс.ткт.

Ако користите а систем за управљање садржајем 10 најпопуларнијих система за управљање садржајем на мрежиДани ручно кодираних ХТМЛ страница и савладавања ЦСС-а су давно прошли. Инсталирајте систем за управљање садржајем (ЦМС) и за неколико минута можете имати веб локацију коју ћете делити са светом. Опширније као што је ВордПресс, вероватно постоји посебан начин на који ћете морати да урадите ово. Пошто се разликује у сваком систему за управљање садржајем, мораћете да консултујете документацију за свој систем.

Неки системи такође могу имати онлајн интерфејсе за отпремање ваше датотеке. За ово, само копирајте и налепите датотеку коју сте креирали у претходним корацима.

Не заборавите да ажурирате своју датотеку

Последњи савет који ћу вам дати је да повремено прегледате датотеку за искључење робота. Ваш сајт се мења и можда ћете морати да извршите нека подешавања. Ако приметите чудну промену у саобраћају вашег претраживача, добра је идеја да проверите и датотеку. Такође је могуће да би се стандардна нотација могла променити у будућности. Као и све остало на вашем сајту, вреди га с времена на време проверити.

Са којих страница изузимате пописиваче на свом сајту? Да ли сте приметили разлику у саобраћају на претраживачима? Поделите своје савете и коментаре испод!