Indexiert alles, ohne Seitenlimit
Keine Stichprobe, keine ersten fünfzig Seiten. Die Warteschlange arbeitet in Stapeln mit Zeitbudget, wiederholt mit wachsenden Pausen und erholt sich von hängenden Sperren — eine große Website auf bescheidenem Hosting bringt die Indexierung also zu Ende, statt auf halbem Weg abzubrechen. Eine fehlgeschlagene Seite blockiert die Warteschlange nicht.