orodje za obdelavo linkov

A obstaja orodje, ki obišče stran A in nato klikne na vse interne povezave in, ko pride na podstrani ponovi postopek? Zopet klikne na vse interne povezave... na koncu pa vse URLje te iste domene A izvozi v .txt? Podobno, kot seznam vseh indexiranih strani nekega spletnega mesta, le večje. Podobno poizvedbo se da naredit kar v googlu, ampak bo našel le indexirane strani....

12 odgovorov

Ja, dokler ne rabis cookijev in sessionov.

Sem imel nekaj casa na freelancer-ju odprt projekt, da mi shranijo ene podatke s Httrackom in ga ni bilo junaka, ki bi uspel.

Dejanski browser simulirajo se bolje kaki programi ala SurfOffline, samo so placljivi in shranjujejo podatke v neki svoji obliki, ki ni browsable izven programa.

Anyway, mislim da bo zadoscalo za to kar avtor teme rabi :)

Da, zadošča:) Bo pa šibalo še kar nekaj časa zgleda.