My own shodan proje

1. Esto es… ¡¡¡ESPAÑA!!!
(y esto una charla de relleno)

2. Esto es… ¡¡¡ESPAÑA!!!

3. España en Internet
• Fuentes de datos
– Direccionamiento IP español -> NIC
• Se descarta IPv6 (risas)
– Dominios .es (aunque este luego alojado fuera)
• Se descarta .CAT
Direccionamiento IP
RIPE
registrado en España
Dominios con TLD:
NIC.es
.es

4. Nos bajamos Internet

5. RIPE
RIPE es el RIR (Regional Internet Registries) de Europa
Se encarga de registrar y organizar el enrutamiento para
Europa y asignación de direccionamiento IP
La base de datos con los registros es pública y se puede
descargar.
$ wget ftp://ftp.ripe.net/ripe/dbase/ripe.db.gz

6. RIPE
Hacemos una listita en CIDR con todo el
direccionamiento:
$ zgrep -B6 -Ei "^country:.*es.*" ripe.db.gz | grep inetnum >IPs.txt
$ cat IPs.txt | awk -F: '{ print $2}' | awk '{ print $1"-"$3}‘>IPv4.txt
$ cat IPv4.txt |perl -ne 'use Net::CIDR::Lite;
my $cidr = Net::CIDR::Lite->new; $cidr->add_range("$_");
@cidr_list = $cidr->list; foreach (@cidr_list) { print "$_n" };'
> IPv4_cidr.txt

7. NIC.es
• Tenían transferencia de zona hasta 2007
– Se podían listar todos los .es
• Ahora ya no… Ahora es más dificil… :(

8. http://www.nic.es/estadisticas/article/1717

9. Ehmmm
$ curl -k -s https://www.nic.es/estadisticas/article/1717
>html.orig
$ cat html.orig | tr '<' 'n' | grep /media/20 | grep pdf|
sed -e 's|.*"(.*)".*|https://www.nic.es/1|' >lista_pdf
$ for i in `cat lista_pdf`; wget $i; done
$ pdftotext *pdf
$ cat *.txt | sort | uniq > alldoms.txt

10. ¿Ahora que?
• Direcciones IP (40 Millones en total):
– Detectar TODOS los servidores web
– GET del index de la página
– GET del robots.txt
– PETERREARLAS (PTR)

11. Nmap
for cidr in `cat IPv4-cidr.txt`; do
cidr_out=`echo $cidr|sed -e 's|/|_|'`;
nmap -n --open -Pn -g53 -v
--min-hostgroup 2048
--max-rtt-timeout 700ms
--initial-rtt-timeout 500ms
--max-retries 6 --max-scan-delay 8
--host-timeout 1m
-p80 -sS
--script=html-index.nse,http-robots.txt.nse
-iL $cidr --stats-every 30s -oA $cidr_out
done

12. ¿Ahora que?
• Dominios (2 Millones)
– Detectar TODOS los servidores web
– GET del index de la página
– GET del robots.txt
– DNS:
• A y AAAA
• AXFR
• NS
• MX

14. mysql> describe http;
+-----------+---------------+------+-----+---------+----------------+
| Field | Type | Null | Key | Default | Extra |
+-----------+---------------+------+-----+---------+----------------+
| id | int(10) | NO | PRI | NULL | auto_increment |
| start | varchar(50) | YES | | NULL | |
| finish | varchar(50) | YES | | NULL | |
| ipv4 | varchar(16) | YES | | NULL | |
| ipv4ptr | varchar(50) | YES | | NULL | |
| ipv6 | varchar(40) | YES | | NULL | |
| header | varchar(9000) | YES | | NULL | |
| htmlindex | longtext | YES | | NULL | |
| robots | longtext | YES | | NULL | |
| wwwa | varchar(16) | YES | | NULL | |
| ns1 | varchar(16) | YES | | NULL | |
| ns2 | varchar(16) | YES | | NULL | |
| ns3 | varchar(16) | YES | | NULL | |
| ns4 | varchar(16) | YES | | NULL | |
| mx1 | varchar(16) | YES | | NULL | |
| mx2 | varchar(16) | YES | | NULL | |
| mx3 | varchar(16) | YES | | NULL | |
| mx4 | varchar(16) | YES | | NULL | |
+-----------+---------------+------+-----+---------+----------------+
18 rows in set (0.00 sec)

16. Objetivos (no están muy claros)
• Dorkear para scriptkiddear como un ninja
– En base a códigos HTML/JS
Ejemplos:
alt="Dreambox Web"
<meta name="generator" content="WordPress
3.0.4" />

18. Robots

19. Objetivos - Estadísticas chorras
– Número de dominios .es históricamente registrados:
1.889.580
– Servidores DNS con más dominios:
183.497 ns63.1and1.es 183.475 ns64.1and1.es
43.224 ns2.sedoparking.com 43.166 ns1.sedoparking.com
18.737 ns4.dinahosting.com 18.736 ns3.dinahosting.com
– Número de dominios con AXFR: 201.189
– Registros A de www: 879.438
– Registros AAAA de www: 37.704 (4%)
23.874 dominios apuntan a: 2a01:238:20a:202:1090:0:0:144
– Servidores web en IPs españolas: 1.775.558
102.903 RomPager 93.743 Apaches 35.168 IIS

20. Objetivos
• Búsquedas inversas de NS/A/MX
– Sin implementar en la web :S

21. ToDo
• Optimizar la BBDD y hacer una de verdad con
índices y esas cosas -> Swish-e …
• ¿Spidear todos los directorios de robots.txt?
• ¿Otros países?
• ¿Geolocalizarlas?
• ¿Trinchar todos los certificados SSL?
• ¿Otros servicios? FTP, SMB, BBDD...
• ….

22. Zakila!!!
(«Hasta luego amigos», para los que
no sepais euskera como yo)