| Robots.txt | ||
|---|---|---|
|
klopar
11. apr 2014 07:40:46
Pridružen od: 17. feb 2012 446 objav 78 113 24 |
#1
Pozdravljeni, že nekaj časa gruntam ali je prav, da imam v datoteki roobots.txt napisan naslednji ukaz: User-agent: * Sitemap: http://www.domena.si/sitemap.xml Tukaj me predvsem zanima če je prav, da je dodan sitemap v robots.txt, saj želim, da mi ta sitemap google prebira. Hvala za odgovore |
|
|
Preseren
11. apr 2014 08:46:55
Pridružen od: 14. mar 2007 3875 objav 2327 338 98 |
#2
Čisto ok imaš. Sicer pa imaš v GWT "testing tool", ki ti pove, koliko datotek je zaradi tvojega robots.txt blokiranih, poglej še tam, če ti pravi, da je vse ok. |
|
|
klopar
12. apr 2014 18:47:33
Pridružen od: 17. feb 2012 446 objav 78 113 24 |
||
|
Mihano
23. maj 2014 18:10:37
Pridružen od: 14. maj 2014 27 objav 2 0 0 |
#4
Živjo! Sem nov v SEO in mi roboti povzročajo kar nekaj težav :) Zanima me, zakaj mi v webmasters piše "Sitemap contains urls which are blocked by robots.txt" ? Vse blokirane datoteke so pdf. V robots jih nimam pod disallow, tudi če probam allow mi ne dela. Datoteke so na enakih linkih, kot v sitemapu. Pdf-ji so v mapi images, images niso disallowed. Medtem ko Google slike najde, pdfjov ne. Res ne razumem zakaj mi jih blokira :/ Hvala! LP |
|
|
dal
24. maj 2014 08:35:34
Pridružen od: 6. jun 2010 150 objav 87 1 2 |
#5
V GWT poglej pod Iskanje po vsebini - Blokirani spletni naslovi datum, kdaj je Google nazadnje snel robots.txt. Mogoče si imel kdaj v preteklosti blokirano in še ni osvežil datoteke. Pod Iskanje po vsebini - Zemljevidi spletnih mest vidiš v stolpcu Obdelano, za kdaj veljajo ti podatki. Ali imaš tukaj tudi kakšno vrednost v stolpcu Težave? Probaj označiti sitemap.xml in izbrati "Znova pošlji", da bo Google znova snel datoteko. |
|
|
Mihano
26. maj 2014 12:34:36
Pridružen od: 14. maj 2014 27 objav 2 0 0 |
#6
Preden sem naložil robots.txt ga prej spletna stran sploh ni imela. Google ga je nazadnje pregledal pred 16 urami. Sem sitemap znova poslal in je bil danes obdelan. Piše, da ni težav, medtem ko se mi na Blokiranih spletnih naslovih še kar pojavi teh šest povezav. Sklepam, da mi more refreshat. Drugače stran nima crawl errorjev. |
|
|
dal
27. maj 2014 20:55:03
Pridružen od: 6. jun 2010 150 objav 87 1 2 |
#7
Google je danes posodobil funkcijo za zahtevo, tako da lahko preveriš, kaj on dejansko dobi od tvojega strežnika. Iskanje po vsebini - Prenesi kot Googlebot - tu vpišeš naslov strani in klikneš Pridobi. Če je stran še vedno blokirana, se ti bo desno izpisalo Datoteka robots.txt je zavrnila stran. |
|
|
Mihano
2. jun 2014 07:26:49
Pridružen od: 14. maj 2014 27 objav 2 0 0 |
#8
Sem uporabil tvoj predlog in je Google uspešno prenesel stran. Medtem mi na sitemaps piše, da nimam težav. V blokiranih spletnih naslovih pa imam še kar tistih 6 blokiranih pdfjev :/ |
|