Nesse início da internet, a web engatinhava, e apenas poucos navegadores existiam: o Minuet (navegador para DOS), o NCSA Mosaic (o primeiro "browser" gráfico) e a Netscape (baseada no Mosaic). Diz-se que o Netscape fora oferecido à Microsoft, e esta o recusou, dizendo que o protocolo www (World Wide Web, a "Teia Mundial", a Web, não tinha futuro, ela ia acabar e que os navegadores eram uma bobagem! rs

O e-mail apenas começava, era quase restrito às universidades e as grandes companhias e chamava-se "BITNET", e usava clientes mail, podendo ser hoje considerados rudimentares (e rodando sobre Unix) como o Pine e o Godzilla. Os blogs, fóruns, wikis e redes de relacionamento, e mesmo as home-pages pessoais não existiam ou quase não existiam. Os "locais de encontro" dos usuários da rede, quase todos pesquisadores, nerds ou hackers, eram dois: as "BBS" e os grupos de notícias da "Usenet".

O grande público não tinha acesso à internet, mesmo porque os computadores eram poucos e caros, as lan-houses não existiam, a banda larga também não (acesso via rede discada com modens de 4300 ou 9600, os de hoje, 56000 kbps não dá nem para o começo!). Mesmo que tivessem acesso, a pessoa sem nenhum conhecimento de informática não conseguia sequer mandar um e-mail, e mal ver uma homepage. Mesmo com tudo isso, o volume de informação da internet crescia muito rapidamente, e os primeiros protocolos para "garimpar" a informação na rede surgiram nessa época.

O "whois", um protocolo localizador de IPs e DNSs; o "Archie", um localizador de servidores FTP; O "Gopher", para achar documentos e as primeiras home-pages. A partir do Gopher, foi feito o Veronica ("Very Easy Rodent-Oriented Net-wide Index to Computerized Archives, algo que pode ser traduzido como, Índice fuçador muito fácil, para achar documentos computadorizados na internet.

O Veronica era uma espécie de repositório com indexação automática de muitos documentos achados pelo protocolo Gopher. Mas até aí, não eram verdadeiros "Motores, Robôs" de busca (apenas buscadores) porque não varriam a rede inteira automaticamente. A automatização para varrer a rede, veio com o protocolo Crawler (do MIT, Instituto de Tecnologia de Machassusets).

Com modificações e aperfeiçoamentos do Crawler original foram feitos os primeiros sites de busca, motores de procura. O mais antigo é o Wandex (hoje extinto), seguindo-se o Aliweb e o WebCrawler, e depois outros (1993 e 1994): o famoso Yahoo, o Lycos (desenvolvido originalmente pela Carnegie Mellon University, hoje é uma empresa privada).

Surgiram depois: o Excite, o InfoSeek, Inktomi (Inglaterra), Northern Light e AltaVista. Também é desta época o polêmico Astalavista, oficialmente especializado em segurança, na prática é conhecido como um buscador de conteúdo predominantemente hacker, pirata ou ilegal. No Brasil, o primeiro "search-engine" foi o Cadê?, hoje incorporado ao Yahoo. Muitos desses sites de busca pioneiros ainda existem (Yahoo, Lycos, AltaVista, WebCrawler, Excite), outros acabaram (Inktomi), engolidos pelas empresas maiores como Netscape, Yahoo e UOL, ou foram adquiridos por outras empresas (InfoSeek, Looksmart).

O Northern Light adquiriu o buscador Insight e hoje é uma empresa de consultoria na área de informação.

Os motores de procura eram classificados como "Verticais" quando se referiam prioritariamente a um assunto, por exemplo, somente procurar pessoas, e "Globais" quando vasculhavam toda a informação da internet no mundo todo. Em paralelo, surgiam as primeiras tentativas de fazer motores de procura múltiplos, que acessavam vários sites de busca ao mesmo tempo, a "Meta-Busca", "Meta "Search Engines". Saliento desses projetos de Meta Engenhos, alguns.

Por ser uma ideia muito inovadora na época, havia um que era Anglo-Latino-Americano, e os servidores sediados na "Facultad de Ciencias Astronómicas y Geofísicas da Universidad de la Plata", Argentina. Chamava-se CUSI (Configurable Unified Search Engine), depois foi comprado por uma empresa inglesa, a Nexor e hoje não existe mais. Outro desses primeiros motores de procura múltiplos, que se destacava pela sua rapidez e eficiência, porque podia acessar "engines," e os próprios "meta-engines" já existentes, tudo ao mesmo tempo, era francês de origem e se chamava Savvy.

Cito mais um meta buscador antigo por ser brasileiro, depois foi comprado pela UOL, chamava-se MetaMiner.

Mais detalhes:

• História da Internet - Wikipédia, a enciclopédia livre
• Motor de busca - Wikipédia, a enciclopédia livre
• Search Engines