orodje za obdelavo linkov

6 naročnikov

A obstaja orodje, ki obišče stran A in nato klikne na vse interne povezave in, ko pride na podstrani ponovi postopek? Zopet klikne na vse interne povezave... na koncu pa vse URLje te iste domene A izvozi v .txt? Podobno, kot seznam vseh indexiranih strani nekega spletnega mesta, le večje. Podobno poizvedbo se da naredit kar v googlu, ampak bo našel le indexirane strani....

Mogoče s kakšnim Link checker orodjem. Na primer z:

http://validator.w3.org/checklink/

Izvoz seznama v .txt bi moral narediti ročno.

Klik? Na koncu preneseš .txt datoteko.

schtr4jh:
Klik? Na koncu preneseš .txt datoteko.

Eeee to rabim:) Hvala. Saj bi šlo s scrapeboxom (inurl:domena), ampak nimam pravih proxijev za G.
Najbrž ne obstaja še tool, ki bi vsak URL shranil v html datoteko na disk kajne? Ah, bom pa sam naredil automata z winautomation:)

wget na linux mašinah dela čudeže. =)

Kaj pa če imam XP? Obstaja Linux virtual machine?

Seveda obstaja, ampak probaj prej se: http://gsitecrawler.com/

Katerikoli program za kopiranje strani bi to tudi naredil - sam uporabljam WinHTTrack ... uporabno, ce rabis tudi slike in js ter externe linke ... se da lepo nastavit kaj na pregleda include/exlude na koncu pa dobis tudi spisek vseh elementov v txt datoteki, poleg kopije strani seveda, za kar se to stvar uporablja :)

Joj kok je tega. Ravno testiram http://www.spadixbd.com/backstreet/ in dela zelo dobro:) Pa kako šiba:)

Perun:
Katerikoli program za kopiranje strani bi to tudi naredil - sam uporabljam WinHTTrack ... uporabno, ce rabis tudi slike in js ter externe linke ... se da lepo nastavit kaj na pregleda include/exlude na koncu pa dobis tudi spisek vseh elementov v txt datoteki, poleg kopije strani seveda, za kar se to stvar uporablja :)

Kaj pa, če je stran dinamična? Bo s tem toolom šlo?

HTTrack simulira browser, torej kar je dosegljivo z browserjem, bi moralo biti tudi s HTTrack.