DotNetDotCom.org es un robot que está rastreando en internet con el objetivo (entre otras cosas) de hacer internet lo mas abierto (open) posible.
Su tecnología está basada en herramientas open source desarrollado en C y Python. Ellos a diferencia de otros buscadores, almacenan su indice en archivos planos como oposición a las bases de datos tradicionales.
Están abiertos a recibir sugerencias y apoyo a cualquier webmaster o programador que quiera participar en el proyecto. Dandoles soporte a las herramientas open source que están utilizando, como son gcc, gdb, Ubuntu, valgrind, python and libcurl.
En lo personal creo en que la información de Internet debe estar disponible a todo el mundo, abierta y comunitaria. Siendo posible acceder en todo momento y poder compartirla de la misma manera. Esto es algo que me gustó mucho de DotNetDotCom, ya que comparten el índice creado para que lo puedas descargar, pero cuidado! pesa unos 3.2 GB!.
El formato del contenido del índice se basa en <tags> al igual que Html, a continuación les detallo un poco el mismo.
El formateo se presenta de la siguiente manera:
Entry NULL Entry NULL Entry
Cada entrada contiene
URL-Without-Protocol NULL Optional-String-Not-Used NULL
Complete-HTTP-Response NULL
Claves
- NULL = Zero Byte
- url-without-protocol = www.example.com/
- optional-string-not-used = Se utilizará en un futuro
- complete-HTTP-response = La respuesta del servidor en forma completa
El siguiente es un ejemplo con dos entradas.
www.example.com/ HTTP/1.1 200 OK
Date: Sat, 20 Sep 2008 15:43:15 GMT
Server: Apache/2.0.52 (CentOS)
X-Powered-By: PHP/4.3.9
Content-Length: 557
Connection: close
Content-Type: text/html; charset=UTF-8
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0
Strict//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd">
<html xmlns="http://www.w3.org/1999/xhtml"
xml:lang="en" lang="en">
<head>
<meta http-equiv="Content-Type" content="text/html;
charset=utf-8" />
<title>I am an example.</title>
</head>
<body>
...
<body>
</html> www.example2.com/ HTTP/1.1 200 OK
Date: Sat, 20 Sep 2008 15:43:15 GMT
Server: Apache/2.0.52 (CentOS)
X-Powered-By: PHP/4.3.9
Content-Length: 557
Connection: close
Content-Type: text/html; charset=UTF-8
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0
Strict//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd">
<html xmlns="http://www.w3.org/1999/xhtml"
xml:lang="en" lang="en">
<head>
<meta http-equiv="Content-Type" content="text/html;
charset=utf-8" />
<title>I am a different example.</title>
</head>
<body>
...
<body>
</html>
Les dije que era open source no? bueno acá les dejo los enlaces de desacarga del indice de DotNetDotCom.org
Descarga de Indice de DotNetDotCom (3.2 GB) torrent
Descarga de ejemplo de contenido DotNetDotCom para analizar contenido (2 MB)
Internet
Tweeteame!
