Un programme automatisé qui recherche l'Internet pour les nouveaux documents Web et place leurs adresses et les informations relatives au contenu dans une base de données, qui peut être consulté avec un moteur de recherche. Généralement considéré comme un type de bot, ou robot Internet.