Probleme und Lösungen - DlieBG/tagesschau_dashboard Wiki

Was für Probleme sind aufgetreten und wie können wir diese ausdribbeln?

NEWS-API

Request-Limit

  • Das Request Limit beträgt 100 Requests pro Tag
  • Idee: Automatisiert neuen API_KEY generieren
    • automatisches generieren schwierig
    • pro IP pro Tag nur 4 erstellbar mit CAPTCHA
  • Idee Ein paar erstellen und damit durchwechseln
    • Ein API-Key der fortlaufend nach vorne in 15 Minuten Intervallen Nachrichten holt
    • ein paar API-Keys, die einmal am Tag nach in die Vergangenheit gerichtet jeweils 100 mal 15 min Intervalle Nachrichten sammeln
    • die 4 übrigen Anfragen (100 pro Tag Limit 96 für die 15 Min Intervalle) vom ersten API-Key für Fehler nutzen
      • Fehler bedeutet API-Key Limit erreicht oder mehr wie 100 Ergebnisse in der Antwort

Pagesize

  • Maximal 100 Einträge pro Request
  • Lösung: Setzen von Zeitintervallen, um die Pagesize zu reduzieren. Dies wird in 15 Minuten Intervalle aufgeteilt

Archivdaten

  • Wir können Daten maximal einen Tag aus der Vergangenheit abrufen
  • Lösung: Wir starten frühzeitig mit dem Crawling, um schnell eine große Datenbasis aufzubauen