Larry Page y Sergey Brin se conocieron en 1995, cuando tenían 24 y 23 años respectivamente, en un acto organizado por la Universidad de Stanford. Ambos tenían un objetivo en común: conseguir información relevante a partir de una importante cantidad de datos.

En enero de 1996 iniciaron su colaboración en un buscador llamado BackRub. Larry empezó a trabajar en la forma de conseguir un entorno para los servidores que funcionara con PCs de gama baja y que no necesitará de potentes máquinas para funcionar. Un año después, la tecnología utilizada por BackRub para analizar los links empezaba a ser conocida en todo el campus, obteniendo una gran reputación. Era la base sobre la que se construiría Google.

El nombre proviene de un juego de palabras con el término "googol", acuñado por Milton Sirotta, sobrino del matemático norteamericano Edward Kasner, para referirse al número representado por un 1 seguido de 100 ceros. El uso del término refleja la misión de la compañía de organizar la inmensa cantidad de información disponible en la Web y en el mundo.