Blokiranje raznih pajkov

8 naročnikov

Imam eno težavo, namreč opažam, da po vsaki korekciji cene izdelka 2 spletni trgovini v Sloveniji v roku nekaj ur korigirata svojo ceno za kakšen cent pod našo.

Glede na to, da imamo v katalogu preko 20k izdelkov je nemogoče, da cene izdelkov spremljajo ročno, tako, da predvidevam, da to počnejo s kakšnimi boti.

Ima kdo kakšne izkušnje s tem?

Kako to blokiram?

Hvala za nasvet

krifa:
Samo blokiraš spiderje in je to to.

Katere spiderje pa? To me muči, ker ne bi rad blokiral napačnih...

pogledaš kateri IPji izstopajo (imajo 50+ requestov na dan) in počekiraš njihov ip http://whatismyipaddress.com/ip/[sumljiv-ip] če je kak hetzner ali amazon server ti je hitro jasno kaj se dogaja.

Tale IP mi je močno sumljiv: 193.77.14.17

A kdo to pozna?

spider-08.najdi.si

http://www.ipaddress-finder.com/?ip=193.77.14.17

spider-08.najdi.si

Kaj sem teslo, ja zdaj vidim tudi sam....

Spremljamo naprej :(

najlažje bi ti bilo skonfigurirat nginx/apache da ti nekam dela mesečni log in delaš potem mesečno analizo. pa za večino že iz hostname ugotoviš kdo je. Samo pazi da ne blokiraš javne uprave :D Mi smo imeli en portal, ki je imel 50% traffica iz IPjev javne uprave med 8:00 do 15:00 :D