Was für Probleme sind aufgetreten und wie können wir diese ausdribbeln?

NEWS-API

Request-Limit

• Das Request Limit beträgt 100 Requests pro Tag
• Idee: Automatisiert neuen API_KEY generieren
  • automatisches generieren schwierig
  • pro IP pro Tag nur 4 erstellbar mit CAPTCHA
• Idee Ein paar erstellen und damit durchwechseln
  • Ein API-Key der fortlaufend nach vorne in 15 Minuten Intervallen Nachrichten holt
  • ein paar API-Keys, die einmal am Tag nach in die Vergangenheit gerichtet jeweils 100 mal 15 min Intervalle Nachrichten sammeln
  • die 4 übrigen Anfragen (100 pro Tag Limit 96 für die 15 Min Intervalle) vom ersten API-Key für Fehler nutzen
    • Fehler bedeutet API-Key Limit erreicht oder mehr wie 100 Ergebnisse in der Antwort

Pagesize

• Maximal 100 Einträge pro Request
• Lösung: Setzen von Zeitintervallen, um die Pagesize zu reduzieren. Dies wird in 15 Minuten Intervalle aufgeteilt

Archivdaten

• Wir können Daten maximal einen Tag aus der Vergangenheit abrufen
• Lösung: Wir starten frühzeitig mit dem Crawling, um schnell eine große Datenbasis aufzubauen