Webmaster tools Crawl errors

5 naročnikov

OK. pod crawl errors na webmaster toolsih mi javlja naslednjo napako

Restricted by robots.txt ‎(20)‎
Timed out ‎(1)‎

Ma kdo kake izkušnje kaj narest v tem primeru? Večinoma gre za urlje kategorija, tagov in feedov??

Kako resna napaka je to?

Bi bil hvaležen za odgovor. Hvala

Lp

Predlagam da objavis kaj imas zapisanov datoteki robots.txt da ti bomo znali pomagati naprej.

evo vsebina robots.txt

# robots.txt
User-agent: MSNBot
Disallow: /
User-agent: psbot
Disallow: /
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Disallow: /wp-login.php
Disallow: /wp-login.php?*
Disallow: /xmlrpc.php
Disallow: /wp-*

Pozna kdo odgovore?

V eni od vrstic kjer imas Disallow, blokiras da bi google lahko prebral to datoteko.
Za zacetek mogoce odstrani naslednje
Disallow: /?
Disallow: /*?

ok. a pa je to drugač resna napaka?

Ce google ne more prebrati tvoje strani, je to zate resna napaka ?
zame je :)

Če smo že pri tem imam tudi jaz 6 napak, ki se nanašajo na omejitev robots.txt:

http://www.domena.si/images/banners/banner1.swf
URL je omejen z datoteko robots.txt

http://www.domena.si/templates/jarutile
URL je omejen z datoteko robots.txt

http://www.domena.si/plugins/system/rokbox/
URL je omejen z datoteko robots.txt

http://www.domenaa.si/components/comjcomments/images/smiles
URL je omejen z datoteko robots.txt

http://www.domena.si/images/banners/banner2.swf
URL je omejen z datoteko robots.txt

http://www.domena/images/banners/registrirajsebutton3.swf

Kaj pa v tem primeru narediti, gre večinoma za flash fajle?

ok sem naredil, tako ko si rekel. Kaj pa sedaj? :)

tnx

ali je robot txt res potreben, mislim pri wordpress straneh?

ali mislite, da seo plugin ne zadostuje?

od viska ne boli glava :D
dobr je recimo za druge iskalnike, ker v robots.txt lahko poves pot do sitemap datoteke, v kateri imas vse povezave na strani, ki zelis da jih iskalniki najdejo ...