{"id":543,"date":"2015-07-19T08:06:47","date_gmt":"2015-07-19T08:06:47","guid":{"rendered":"http:\/\/www.seoexpert.rs\/blog\/?p=543"},"modified":"2019-01-31T00:22:58","modified_gmt":"2019-01-31T00:22:58","slug":"indeksiranje-i-deindeksiranje","status":"publish","type":"post","link":"https:\/\/www.seoexpert.rs\/blog\/indeksiranje-i-deindeksiranje\/","title":{"rendered":"Indeksiranje i [deindeksiranje] novih\/starih URL strana iz pozicije Gugla"},"content":{"rendered":"

Ve\u0107ina portala\/sajtova pored produkcijske verzije iz opravdanih razloga nema testno i razvojno okru\u017eenje, ve\u0107 sav razvoj se radi na „\u017eivo“<\/strong>. Ovakva organizacija usled male nepa\u017enje ume da unese\u00a0poprili\u010dno nezahvalnu komunikaciju sa Google spajderima koji sa nestrpljenjem \u010dekaju da u realnom vremenu pokupe svaki novi bit i \u010dim pre plasiraju najsve\u017eiju informaciju sa tr\u017ei\u0161ta.<\/p>\n

\"Vra\u017eja<\/a>
Vra\u017eja stena i mosti\u0107 preko P\u010dinje, Trgovi\u0161te (za vi\u0161e detalja klik na sliku).<\/figcaption><\/figure>\n

Da bi optimalno koristili resurse (crawl budget<\/strong>) koji imamo kod \u010dika Gugla kad je u pitanju indeksiranje\/reindeksiranje<\/strong>\u00a0dela ili celog sajta, evo nekoliko bitnih stvari koje mo\u017eda znate, ali nije na odmet da se jo\u0161 jednom utvrde. Ponavljanje je majka znanja, a kroz komentare mo\u017eemo da ih i dodatno prodiskutujemo ukoliko postoji kakva god dilema usled druga\u010dije iskustvene \u010dinjenice.<\/p>\n

1. robots.txt datoteka<\/h2>\n

Prvo ono \u0161to spajderi<\/strong> (pauci ili robotizovane skripte, botovi, sinonima ima na pretek)\u00a0 urade kad do\u0111u na novi\/stari sajt je poseta robots.txt datoteci<\/strong>. Ovde se informi\u0161u da li su dobrodo\u0161li i da li postoji neki folder koji ne bi trebalo da se indeksira. Na primer ako postoji neki teku\u0107i projekat koji je krenuo sa radom i jo\u0161 uvek nije gotov, onda eksplicitno u robots.txt datoteci treba zabraniti pristup<\/strong> istom pre samog po\u010detka projekta. Sve ovo va\u017ei i za testno i razvojno okru\u017eenje. Guglove skripte nikako ne bi trebalo da vr\u0161ljaju ni po \u010demu drugom osim po produkcijskim informacijama.<\/p>\n

Problem nastaje kada Google indeksira na primer testno ili razvojno okru\u017eenje, a programer tek naknadno postavi zabranu u robots.txt datoteci. Zabrana u robots.txt datoteci ne doprinosi deindeksiranju URL-ova<\/strong> koji su pobrojani u disallow strukturi, ve\u010d samo zabranu daljeg a\u017euriranja istih.<\/p>\n

Pre nego analiziram situaciju kako deindeksirati ono \u010demu nije mesto na SERP-u (ta\u010dka 3 u ovom \u010dlanku), spomenu\u0107u koji je slede\u0107i korak koji Bot preduzima u mirnodopskim aktivnostima.<\/p>\n

2. XML mapa\/mape sajta<\/h2>\n

Nakon \u0161to je Google pauk utvrdio svoja ovla\u0161\u0107enja iz robots datoteke, on i dalje ne pristupa va\u0161em sajtu, \u00a0nego u\u010ditava XML mapu\/mape sajta i proverava \u0161ta se u njoj de\u0161ava novo. Za kreiranje XML mape postoje razli\u010diti alati, tj. postoji vi\u0161e standarda za XML mapu<\/strong>, a evo koji ja koristim https:\/\/www.seoexpert.rs\/sitemap.xml<\/a> i jo\u0161 jednu kompleksnu strukturu za blog<\/strong><\/a>.<\/p>\n

Pored datuma poslednjeg a\u017euriranja<\/strong> ubacujem podatak o prioritetu<\/strong> tog URL-a na celom sajtu, kao i moju preporuku \u010dika Guglu koliko \u010desto da a\u017eurira taj URL. Podse\u0107am vas da lokaciju XML mape povezujete sa Guglom kroz Webmaster Tools (WT)<\/strong>. Prioritet posmatranog URL-a u XML mapi proizilazi iz va\u0161e SEO strategije. Prioritet nekog URL-a defini\u0161e pozicija tog URL-a u celoj arhitekturi sajta, kao i koli\u010dina internih, izlaznih i dolaznih linkova na i ka njemu + relevantnost iz ugla aktivnosti posetioca. Kad god ne\u0161to krupno radite na sajtu, refre\u0161ajte XML mape iz Webmaster Toolsa radi \u0161to br\u017eeg reindeksiranja. Uvek sa\u010dekajte da pregledate i korigujte eventualne gre\u0161ke\/sugestije tokom procesa obrade podataka iz mape.<\/p>\n

Ukoliko ne postoje robots i XML fajlovi<\/strong> ili postoje a nisu ta\u010dni Google\/Bing sami planiraju svoju agendu indeksiranja. Ako govorimo o SEO optimizaciji<\/strong><\/a> upravo je ideja da optimizujemo serversku snagu koju nam Google stavlja na raspolaganje i najefikasnije i najbr\u017ee usmerimo botove tamo gde im je mesto, tj. \u00a0implementirajte ove funkcionalnosti ako ve\u0107 niste.<\/p>\n

3. A \u0161ta da radim kad je indeksirano ono \u0161to ne \u017eelim da bude indeksirano<\/h2>\n

U praksi \u010desto se de\u0161ava da Google indeksira i plasira na rezultatima pretrage URL-ove koje prosto ne \u017eelimo da ih iko vidi. Na primer, stranica proizvoda koja odavno ne postoji u prodaji, grupa URL-ova koji su jo\u0161 uvek u izradi, nekompletna migracija sa jednog na drugi CMS, razne faze redizajna, razvoja i tako dalje. Kretivnost slu\u010dajeva ne manjka.<\/p>\n

Osnovni principi najbolje prakse pobroja\u0107u ispod, a vi se prilagodite situaciji koja najpribli\u017enije oslikava va\u0161u,<\/p>\n

– URL-ovi koje treba deindeksirati imaju ka sebi SEO linkove od spolja<\/strong>. Ovo je obi\u010dno slu\u010daj sa ne vi\u0161e od dvadesetak URL-ova i onda\u00a0se radi 301 redirekcija na novi korespodentni URL ili pak na naslovnu, pa nek se SEO prirodno preraspore\u0111uje. Izuzetak mo\u017ee postojati\u00a0ukoliko je takav URL penalizovan od strane Pingvin filtra usled agresivnog link buildinga<\/strong><\/a>, \u0161to potra\u017euje mnogo \u0161iru analizu koju sada\u00a0preska\u010dem.\u00a0Ukoliko \u017eelite privremeno preusmeravanje koristite 302\u00a0redirekciju.<\/p>\n

– URL-ovi nemaju ka sebi dolazne linkove i ima ih vi\u0161e od 100<\/strong>. Teorija\/praksa ka\u017ee da je najbolje da ih ostavimo u 404 statusu, i \u010dim ih Google\u00a0reindeksira on \u0107e ih deindeksirati iz svog search-a, tj. vi\u0161e ih ni ne razmatra. \u00a0Google voli 404. Postoji i 410 status, to je trajno deindeksiranje<\/strong> i jedina razlika u odnosu na 404 je \u0161to 410 tra\u017ei mnogo vi\u0161e vremena ako iz nekog\u00a0razloga odlu\u010dite da opet o\u017eivite taj URL.<\/p>\n

– Ako nepo\u017eeljnih URL-ova nema vi\u0161e od 100<\/strong> mo\u017ee se koristiti po jedan meta tag u head-u HTML-a, <meta name=“robots“ content=“noindex, follow“><\/em><\/strong> koji\u00a0govori pretra\u017eiva\u010dima da ne listaju taj URL na SERP-u, ali da sa njega uklju\u010de u razmatranje linkove. Neki SEO’i recimo kategorije u okviru\u00a0WordPress-a stavljanju u <meta name=“robots“ content=“noindex, follow“> \u0161to ja ne bih preporu\u010dio. Ako kategorije birate kao tematske celine<\/strong>, a\u00a0jo\u0161 su polinkane anchor tekstovima u horizontalnom meniju, nema potrebe rasipati SEO. Na primer za kategoriju „Misti\u010dna mesta<\/strong><\/a>“ ili „Turska\u00a0putopisi“, na TT Group portalu nalazim se na prvom, drugom mestu na Guglu<\/strong><\/a>.<\/p>\n

Mislim da su defoltne postavke na SEO WP plaginovima pode\u0161ene da\u00a0kategorije bude (Noindex, follow) i to obavezno proverite. Sa ovim nemojte da se igrate ako u potpunosti niste sigurni \u0161ta radite. Zaklju\u010dak je da 301\/404 ne tro\u0161i, a <meta name=“robots“ content=“noindex, follow“> itekako tro\u0161i crawl bud\u017eet.<\/p>\n

– Canonical meta tag<\/strong>.\u00a0Ukoliko ne koristite responsive verziju, ve\u0107 posebnu verziju za mobilne ure\u0111aje onda je\u00a0odavno\u00a0trebalo da imate i ovaj tag u izvedenoj verziji. Tj, da URL sa istom informacijom na strani za desktop i URL sa istom informacijom za mobilni\u00a0ure\u0111aj od strane Gugla ne bi bio do\u017eivljavan kao duplicirani sadr\u017eaj treba da se \u00a0koristi canonical meta tag<\/strong>.<\/p>\n

Ako imate responsive web sajt, dobra praksa je da svaki URL bude canonical na samog sebe, da ako se dese neki svi\u010devi po URL-u ne bude nikakvih nerazumevanja za botove. Princip je da uvek nedvosmisleno ka\u017ee\u0161te Guglu \u0161ta smerate i da mu ne dajete prostora da on izra\u017eava svoju kreativnost \ud83d\ude09 Ve\u0107ina\u00a0aktuelnih WordPress platformi je responsive i canonical meta tag<\/strong> je implementiran za sve svi\u010deve koji se kaleme na defoltni URL.<\/p>\n

Pogledajte ovaj video klip koji demistifikuje mitove o 301, 201 i canonical direktivama:<\/p>\n