¿Cuál fue el primer motor de búsqueda?

Un motor de búsqueda es un programa informático que actúa como una forma de recuperar información de una base de datos, en función de ciertos criterios definidos por el usuario. Los motores de búsqueda modernos buscan bases de datos que contienen grandes cantidades de datos, recopilados de la World Wide Web, grupos de noticias y proyectos de directorio. La evolución del motor de búsqueda fue bastante rápida, con el primer motor de búsqueda verdadero que apareció a principios de la década de 1990, y el primer motor de búsqueda de estilo moderno que apareció en 1995.

Antes de que existiera la World Wide Web, pero después del advenimiento de Internet y su consiguiente popularidad en el circuito universitario, se creó el primer motor de búsqueda. En este punto de la historia, a fines de los años ochenta y principios de los noventa, uno de los principales protocolos que se usaba en Internet era el protocolo de transferencia de archivos (FTP). Los servidores FTP existían en todo el mundo, generalmente en campus universitarios, instalaciones de investigación o agencias gubernamentales. Algunos estudiantes de la Universidad McGill en Montreal decidieron que una base de datos centralizada de archivos disponibles en varios servidores FTP populares ayudaría a ahorrar tiempo y ofrecería un excelente servicio a los demás. Este fue el origen del motor de búsqueda Archie.

Archie, que era la abreviatura de archivo, era un motor de búsqueda que regularmente ingresaba a los servidores FTP en su lista, e hizo un índice de qué archivos estaban en el servidor. Debido a que el tiempo del procesador y el ancho de banda seguían siendo un bien bastante valioso, Archie solo buscaba actualizaciones cada mes más o menos. Al principio, el índice que construyó Archie debía verificarse utilizando el comando grep de Unix, pero pronto se desarrolló una mejor interfaz de usuario para permitir una búsqueda fácil del índice. Siguiendo a Archie, un puñado de motores de búsqueda surgió para buscar el protocolo Gopher similar, dos de los más famosos son los motores de búsqueda Jughead y Veronica. Archie se volvió relativamente obsoleto con el advenimiento de la World Wide Web y los motores de búsqueda posteriores, pero los servidores de Archie todavía existen.

En 1993, poco después de la creación de la World Wide Web, Matthew Gray desarrolló el World Wide Web Wanderer, que fue el primer robot web. El World Wide Web Wanderer indexó todos los sitios web que existían en Internet mediante la captura de sus URL, pero no realizó un seguimiento del contenido real de los sitios web. El índice asociado con el Wanderer, que fue uno de los primeros motores de búsqueda, se llamaba Wandex.

Algunos otros pequeños proyectos crecieron después del Wanderer, que comenzó a acercarse al motor de búsqueda moderno. Estos incluyeron el World Wide Web Worm, la araña de Ingeniería de Software Basada en el Repositorio (RBSE) y JumpStation. Todos estos tres motores de búsqueda utilizaron datos recopilados por robots web para devolver esa información a los usuarios. Aún así, la información se devolvió sin filtrar en su mayor parte, aunque RBSE intentó clasificar el valor de las páginas.

En 1993, una compañía fundada por algunos estudiantes de Stanford, llamada Excite, lanzó lo que podría decirse que es el primer motor de búsqueda que incorpora el análisis del contenido de la página. Esta oferta inicial estaba destinada a buscar dentro de un sitio, sin embargo, no a buscar en la web en su conjunto.

Sin embargo, en 1994, el mundo del motor de búsqueda tuvo un gran avance. Una compañía llamada WebCrawler comenzó a funcionar con un motor de búsqueda que no solo capturó el título y el encabezado de las páginas en Internet, sino que también capturó todo el contenido. WebCrawler fue enormemente exitoso, tan exitoso que gran parte del tiempo ni siquiera se pudo utilizar porque todos sus recursos del sistema estaban siendo utilizados.

Un poco más tarde ese año, se lanzó Lycos, que incluye muchas de las mismas características que WebCrawler, y se basó en ellas. Lycos clasificó sus resultados en función de su relevancia y permitió al usuario ajustar una serie de configuraciones para obtener resultados que se ajustaran mejor. Lycos también era enorme: en el año tenía más de un millón de sitios web archivados, y en dos años había alcanzado los 60 millones.

El primer motor de búsqueda con más precisión sería Archie. Sin embargo, la mayoría de las personas, cuando hablan de un motor de búsqueda, quieren decir algo muy diferente de lo que hizo Archie. Incluso los motores de búsqueda WWW posteriores no cumplen con nuestros criterios modernos hasta el advenimiento de WebCrawler y Lycos, los primeros motores de búsqueda verdaderamente modernos.