Thread Scraper: Google Suche: Too many Requests. Wer hat Erfahrung? (4 answers)
Opened by Ionit at 2020-12-24 18:07

haj
 2020-12-24 22:50
#193020 #193020
User since
2015-01-07
556 Artikel
BenutzerIn

user image
Wenn Du mit Mechanize die Fragen ausführst, dann steckt Dich Google in die Kategorie "menschlicher Benutzer" - da gibt es keine Dokumentation über die Grenzen. Ich nehme an, dass Google sich das absichtlich offenhält.

Für automatisierte Abfragen bietet Google aber ein API, das die Daten als JSON ausliefert. Das sollte dann eigentlich viel einfacher in eine Datenbank umzufüllen sein als die Inhalte per Scraping rauszukratzen. Für dieses API gilt das Limit von 100 Requests pro Tag für umsonst - für mehr musst Du zahlen (5$ für je 1000 Requests).

Details dazu bei Google selbst: https://developers.google.com/custom-search/v1/ove...

View full thread Scraper: Google Suche: Too many Requests. Wer hat Erfahrung?