Domov > Splošne debate > 1 miljon domen na eni sliki
stran 1 od 1 |< < 1 > >|
1 miljon domen na eni sliki
 
rnk 5. maj 2011 16:39:14 Pridružen od:
27. avg 2010
48 objav
 91 6 1
#1

Ojla,



prečesal sem miljon com, net, org, info, biz in us numericnih domen. Od 10 do 1000000.



Prvi miljon .com domen v eni sliki (rdece = registrirana, rumena = bila registrirana, crna = prosta)



http://www.shrani.si/f/1P/12v/2lEI6dOn/1mcom.png



Tole je samo tko na hitro za test. Bom poskusil tudi stlačit vseh 6 TLD v eno sliko, kar omogoča uporabo veliko barv.


všeč(8) ni všeč(0) spam(0)
 
 
matik 5. maj 2011 17:14:36 Pridružen od:
16. dec 2006
130 objav
 102 8 1
#2

Zelo zanimivo! :) Mogoče podatek, kako dolgo si česal?


všeč(1) ni všeč(0) spam(0)
 
 
rnk 5. maj 2011 17:24:50 Pridružen od:
27. avg 2010
48 objav
 91 6 1
#3

Prvih 100.000 26 ur. Potem sem optimiziral skripto in multithreadal, tako da je letelo 300.000 na ~6 ur.



Sem pa mogu enmu rusu vsakih 5 minut ukrast proxye ker so me na strani, ki sem jo abusov, blokiral na vsakih n requestov. Zanesljivega free apija nisem našel, plačeval pa tut nabom. (Proxye ma zascitene tako, da port izpise naknadno z js, in je bilo treba še to obit. Še dobro da ni mel limita requestov, ki jih loh nardis na njegov sajt, ker pol bi bla tista Xzibit situacija. Yo dawg, i herd you like proxies so i parsed your proxies to parse your proxies. ;> )



http://www.shrani.si/f/1z/y6/zoai7Ki/workers.png


všeč(3) ni všeč(0) spam(0)
 
 
jazzfunk 5. maj 2011 18:09:20 Pridružen od:
5. apr 2010
1365 objav
 1665 195 26
#4

Zelo zanimiv projekt

Vsaka čast! Temu jaz pravim geek art :)


všeč(3) ni všeč(0) spam(0)
 
 
rnk 6. maj 2011 07:01:13 Pridružen od:
27. avg 2010
48 objav
 91 6 1
všeč(3) ni všeč(0) spam(0)
 
 
rnk 14. maj 2011 22:55:48 Pridružen od:
27. avg 2010
48 objav
 91 6 1
#6

Uh, končno sem našel čas in voljo, da sem na brzino postavu blog, da se to zapiše. Nekateri ste mi pisali na zs, da bi radi še več informacij - če katere želje nisem zadostil povejte ali pa si potegnite sql dump in se poigrajte z dato.



http://www.smpake.com/


všeč(2) ni všeč(0) spam(0)
 
 
zeko 15. maj 2011 00:45:34 Pridružen od:
26. feb 2010
2680 objav
 3522 839 122
#7

what a hell is that?! :D



Upam da nisem edini, ki ne razume :P



Explain please, me res zanima :)


všeč(8) ni všeč(0) spam(0)
noobiliate & bizarre domain name collector
 
 
Spiegel 15. maj 2011 09:28:23 Pridružen od:
15. dec 2009
176 objav
 274 28 13
#8

@rnk: Kako si pa multithreadal? V cem si to programiral?


všeč(0) ni všeč(0) spam(0)
 
 
rnk 15. maj 2011 19:54:56 Pridružen od:
27. avg 2010
48 objav
 91 6 1
#9

Zeko: preveril sem zasedenost 1 mio numericnih domen in podatke ponazoril v sliki, 1000 pixlov (domen) siroko, 1000 vrstic. Primer, na levi strani, prvi pixel, druga vrstica predstavlja 1001.com/net/org..., naslednji pixel v desno je 1002.com... ....barva pixla je odvisna stanja domene (zasedena/prosta..)



Spiegel: PHP, ker ga najvec zvecim je tako najhitreje narejeno. Kar se muthithreada tice, pac pozenes vec vzporednih procesov (v mojem primeru tri) in vsak obdeluje svoj kos podatkov.


všeč(5) ni všeč(0) spam(0)
 
 
Domov > Splošne debate > 1 miljon domen na eni sliki
stran 1 od 1 |< < 1 > >|
 

🔒 Za odgovor na to temo se moraš prijaviti.

Prijavi se