Kako iskalnik najde neko mapo na strežniku?

Danes sem ustvaril neko mapo na neki domeni in v njej nek file, ki je bil dostopen na npr. www.domena.com/nekdirektorij

Google ga je našel v roku pol dneva - kako? Nikjer nimam narejene nanj nobene povezave, nikjer to povezavo objavljeno...

Tako hitro google poindexira tvojo spletno stran :)

Če ne želiš, da poindexira določene mape, mu to prepovej. Z robots.txt npr. Ukaz:

Disallow: /nekdirektorij/

to že, ampak s tem pa drugi lahko vidijo to mapo, ko enostavno pogledajo robots.txt

Da mi poindexira stran ne rečem (in vse povezave ki so na strani) ampak kako pride do mape, ki ni nikjer omenjena. Kljub index datoteki dobi strukturo direktorijev?

Poglej si tukaj: http://forums.digitalpoint.com/showthread.php?t=994028

Že php zna gledat za direktoriji, googlovi robotki pa so pomoje na hudo narejeni. Tko da če nočeš da se indeksirajo potem dej NOFOLOW, če nočeš da drugi vidijo to mapo tudi če po nesreči lepo dej geslo gor v .httacess Ozirma v kontrolni polšči izberi to opicjo.

Če lahko google, potem lahko tudi kdorkoli drug. Poleg tega pa sem šele sedaj opazil, da je domena (oziroma natančno poddomena) čisto na svojem računu gostovanja in ni nikjer objavljena, tako da sploh ne vem kaj google počne na tem računu. Edina razlaga ki mi sedaj pade v glavo je ta, da ima ponudnik gostovanja neko skripto, ki sporoča googlu informacije...

Preko Google Toolbara...

Preko Google Toolbara?

Yes...

Ko instaliras toolbar, te vpraša, ali boš pošiljal anonimizirane podatke Googlu.

Zelo verjetno zbirajo URLje tudi tako.

Sicer pa preveri....

Nimam toolbara. "Clean" Firefox in edino jaz sem uporabil to mapo.