Kako iskalnik najde neko mapo na strežniku?

9 naročnikov

Danes sem ustvaril neko mapo na neki domeni in v njej nek file, ki je bil dostopen na npr. www.domena.com/nekdirektorij

Google ga je našel v roku pol dneva - kako? Nikjer nimam narejene nanj nobene povezave, nikjer to povezavo objavljeno...

Tako hitro google poindexira tvojo spletno stran :)

Če ne želiš, da poindexira določene mape, mu to prepovej. Z robots.txt npr. Ukaz:

Disallow: /nekdirektorij/

to že, ampak s tem pa drugi lahko vidijo to mapo, ko enostavno pogledajo robots.txt

Da mi poindexira stran ne rečem (in vse povezave ki so na strani) ampak kako pride do mape, ki ni nikjer omenjena. Kljub index datoteki dobi strukturo direktorijev?

Poglej si tukaj: http://forums.digitalpoint.com/showthread.php?t=994028

Že php zna gledat za direktoriji, googlovi robotki pa so pomoje na hudo narejeni. Tko da če nočeš da se indeksirajo potem dej NOFOLOW, če nočeš da drugi vidijo to mapo tudi če po nesreči lepo dej geslo gor v .httacess Ozirma v kontrolni polšči izberi to opicjo.

Če lahko google, potem lahko tudi kdorkoli drug. Poleg tega pa sem šele sedaj opazil, da je domena (oziroma natančno poddomena) čisto na svojem računu gostovanja in ni nikjer objavljena, tako da sploh ne vem kaj google počne na tem računu. Edina razlaga ki mi sedaj pade v glavo je ta, da ima ponudnik gostovanja neko skripto, ki sporoča googlu informacije...

Preko Google Toolbara...

Preko Google Toolbara?

Yes...

Ko instaliras toolbar, te vpraša, ali boš pošiljal anonimizirane podatke Googlu.
Zelo verjetno zbirajo URLje tudi tako.

Sicer pa preveri....

Nimam toolbara. "Clean" Firefox in edino jaz sem uporabil to mapo.

se mi zdi primerna tema za moje vprašanje...

pred kratkim sem prenovil strukturo spletne strani.
prej ni bilo nič po mapah, zdaj pa sem razdelil strukturo na domena.com/podmapa1
domena.com/podmapa2.... sej veš kako

google je kak teden po tem izvedel največjo crawlanje strani (obcutno vecjo kot prej- prej 10 povprecno, potem 70, kar je tudi najvisje nasploh)

zdaj pa problem: v google serp-u se še vedno prikazujejo stari linki in posledično stran ne funkcionira.. je treba počakat nekaj časa da google spremeni al je bolje podvojit strani? nastavit redirecte?
aja, pa imam webmaster tools in po končanem prestrukturiranju strani sem poslal sitemap.. sicer generičen iz one strani, ki jo google predlaga, vendar mislim, da ni v tem problem.

je mel kdo podobne težave ali vsaj pa za rešitev? Hvala