orodje za obdelavo linkov
 
Mambo89 10. okt 2010 21:33:30 Pridružen od:
23. feb 2009
2840 objav
2286 560 46
#1

A obstaja orodje, ki obišče stran A in nato klikne na vse interne povezave in, ko pride na podstrani ponovi postopek? Zopet klikne na vse interne povezave... na koncu pa vse URLje te iste domene A izvozi v .txt? Podobno, kot seznam vseh indexiranih strani nekega spletnega mesta, le večje. Podobno poizvedbo se da naredit kar v googlu, ampak bo našel le indexirane strani....


všeč(0) ni všeč(0) spam(0)
 
inkanet 10. okt 2010 21:49:18 Pridružen od:
3. okt 2008
328 objav
110 1 2
#2

Mogoče s kakšnim Link checker orodjem. Na primer z:



http://validator.w3.org/checklink/



Izvoz seznama v .txt bi moral narediti ročno.


všeč(1) ni všeč(0) spam(0)
 
schtr4jh 10. okt 2010 21:51:00 Pridružen od:
24. nov 2008
402 objav
322 33 4
#3

Klik? Na koncu preneseš .txt datoteko.


všeč(1) ni všeč(0) spam(0)
 
Mambo89 10. okt 2010 21:53:47 Pridružen od:
23. feb 2009
2840 objav
2286 560 46
#4

schtr4jh:

Klik? Na koncu preneseš .txt datoteko.




Eeee to rabim:) Hvala. Saj bi šlo s scrapeboxom (inurl:domena), ampak nimam pravih proxijev za G.

Najbrž ne obstaja še tool, ki bi vsak URL shranil v html datoteko na disk kajne? Ah, bom pa sam naredil automata z winautomation:)


všeč(0) ni všeč(0) spam(0)
 
schtr4jh 10. okt 2010 22:04:30 Pridružen od:
24. nov 2008
402 objav
322 33 4
#5

wget na linux mašinah dela čudeže. =)


všeč(1) ni všeč(0) spam(0)
 
Mambo89 10. okt 2010 22:06:16 Pridružen od:
23. feb 2009
2840 objav
2286 560 46
#6

Kaj pa če imam XP? Obstaja Linux virtual machine?


všeč(0) ni všeč(0) spam(0)
 
perunpro 10. okt 2010 22:13:42 Pridružen od:
23. maj 2008
3360 objav
2892 217 19
#7

Seveda obstaja, ampak probaj prej se: http://gsitecrawler.com/


všeč(1) ni všeč(0) spam(0)
 
Perun 10. okt 2010 22:14:47 Pridružen od:
21. jul 2008
4040 objav
4973 260 37
#8

Katerikoli program za kopiranje strani bi to tudi naredil - sam uporabljam WinHTTrack ... uporabno, ce rabis tudi slike in js ter externe linke ... se da lepo nastavit kaj na pregleda include/exlude na koncu pa dobis tudi spisek vseh elementov v txt datoteki, poleg kopije strani seveda, za kar se to stvar uporablja :)


všeč(1) ni všeč(0) spam(0)
 
Mambo89 10. okt 2010 22:15:00 Pridružen od:
23. feb 2009
2840 objav
2286 560 46
#9

Joj kok je tega. Ravno testiram http://www.spadixbd.com/backstreet/ in dela zelo dobro:) Pa kako šiba:)


všeč(0) ni všeč(0) spam(0)
 
Mambo89 10. okt 2010 23:22:57 Pridružen od:
23. feb 2009
2840 objav
2286 560 46
#10

Perun:

Katerikoli program za kopiranje strani bi to tudi naredil - sam uporabljam WinHTTrack ... uporabno, ce rabis tudi slike in js ter externe linke ... se da lepo nastavit kaj na pregleda include/exlude na koncu pa dobis tudi spisek vseh elementov v txt datoteki, poleg kopije strani seveda, za kar se to stvar uporablja :)




Kaj pa, če je stran dinamična? Bo s tem toolom šlo?


všeč(0) ni všeč(0) spam(0)
 
 

🔒 Za odgovor na to temo se moraš prijaviti.

Prijavi se