Šta je crawl budget i kada treba da ga pratite - Zephyra Studio

Crawl budget je broj stranica koje Googlebot može i želi da pregleda na vašem sajtu u nekom periodu, na primer u jednom danu. Google sam odlučuje koliko će resursa da uloži u vaš domen, na osnovu njegove veličine, brzine i toga koliko se sadržaj menja. Zvuči apstraktno, ali ima stvarne posledice: ako Googlebot potroši taj budžet na hiljade besmislenih URL-ova, nove i važne stranice čekaju duže da budu pregledane. Za sajt sa pedeset stranica crawl budget praktično nije tema. Za katalog sa desetinama hiljada proizvoda jeste jedan od glavnih tehničkih problema.

Kako Google odlučuje koliko će da pregleda

Google ne pregleda sajt ravnomerno. Svakom domenu dodeljuje okvirno koliko stranica može da obiđe u jedinici vremena, i taj broj se menja. Novi sajtovi i sajtovi koji se često ruše dobijaju manje; stariji, brzi i redovno ažurirani dobijaju više.

Na tu procenu utiču tri stvari: koliko je sajt velik i koliko često se menja, koliko brzo server odgovara, i koliko je od onoga što Googlebot nađe stvarno novo ili korisno.

Kada crawl budget postaje stvarni problem

Za manje sajtove crawl budget je teorija. Google obiđe sve što postoji, i to brzo. Problem nastaje kada broj URL-ova eksplodira, a većina ne vodi nigde korisno.

Klasičan primer je webshop sa filterima. Jedna kategorija sa pet filtera može da proizvede stotine kombinacija URL-ova, od kojih svaki prikazuje isti ili skoro isti sadržaj. Googlebot troši vreme na te kombinacije, a stvarni proizvod ili nova kategorija čeka u redu.

Šta troši budžet bez koristi

Besmisleni URL-ovi troše budžet: sortiranja, filteri, parametri za praćenje, kalendari sa datumima, pretrage bez rezultata. Isto važi za stranice koje vraćaju grešku ali su i dalje linkovane, i za beskonačne nizove stranica koje se same generišu.

Google Search Console u izveštaju Crawl stats pokazuje koliko je Googlebot zahteva poslao i na šta. Ako tu dominiraju URL-ovi sa parametrima, to je jasan znak gde gubite budžet.

Praktični savet: kako da pomognete Googlebotu

Prvo pravilo: ne dozvolite Googlebotu da ulazi u ono što ne treba indeksirati. Filtere i interne pretrage možete blokirati preko robots.txt ili postaviti noindex, u zavisnosti od toga da li želite da se URL pojavi u indeksu.

Drugo: unutrašnji linkovi treba da vode ka stranicama koje su vam bitne. Ako svaka stranica linkuje ka stotinama drugih, Googlebot ide svuda, pa i tamo gde ne treba. XML sitemap sa samo važnim URL-ovima pomaže da prioriteti budu jasni.

Povezani pojmovi

Za širu sliku, pogledajte i:

Izvor

Ključni zaključci

• Crawl budget je broj stranica koje Googlebot pregleda na vašem sajtu u datom periodu.
• Za sajt do nekoliko stotina stranica praktično nije tema, za veliki katalog jeste.
• Filteri, sortiranja, parametri i prazne pretrage su najčešći trošak budžeta bez koristi.
• Search Console Crawl stats pokazuje gde Googlebot stvarno troši vreme.

Zaključak

Crawl budget se ne rešava jednim potezom, nego stalnim čišćenjem onoga što Googlebotu nije korisno da obiđe. Naša tehnička SEO optimizacija počinje pregledom Crawl stats i strukture URL-ova, jer bez toga ni najbolji sadržaj ne stiže do indeksa na vreme.