Meeting Notes - FHNW-IGEO/Geoharvester GitHub Wiki
Microsoft Teams meeting
Participants :
swisstopo:
David Oesch PL
Pasquale Di Donato Tech PL ( Master of metadata and services…)
Pascal Barth FrontEnd map.geo.admin.ch swisstopo
Tanja Humar Metadata specialist swisstopo
Oliver Katsikas Intern Metadata Team Geocat
Raphaelle Arnaud PL Metadata Team Geocat
Benoît Regamey Tech Metadata Team Geocat
FHNW:
Pia Bereuther Lead / Geomatik
Fiona Tiefenbacher WissAssistent (50%)
Friedrich Striewski Entwickler
Agenda items:
-
Welcome & Roles (David)
-
Short introduction participants (all)
-
Agenda overview
-
Short introduction project
-
Contract: status
Intro:
-
Goals and content of the project
-
Context and scope 5 min (David / Pasquale)
-
“Where it started”: https://github.com/GeoUnconference/discussions/discussions/38
-
“How it is going”: POC https://github.com/davidoesch/geoservice_harvester_poc
-
-
Der Projekt scope wird auf diesen zwei Anwendungsfällen sein
-
“Where it could” go
-
-
Ziel SEO Unterstützung
-
Funktion Aggregiertes GetCapabilities aus den verschiedenen Diensten übernommen
-
-
-
-
Mögliche Nutzung der Ergebnisse:
-
Map.geo.admin.ch: Bereitstellung Schnittstelle/ Datensatz um bei map.geo.admin.ch das Import Interface durch einen Layertree mit Kantonen/ Organisationen - topics ( einen Katalog) “Drittanbieter” zu ersetzen und in der Suche map.geo.admin.ch die einzelnen Layer auffindbar machen,
-
Out Of Scope
-
Beantwortung von Fragen der Bürger mit Raumbezug (Bot) zb analog
-
Mit NLP : INODE Open Data Dialog ermöglicht es Nutzern, Datensätze in NLP zu erkunden. Der Dienst nimmt in Englisch formulierte Datenanfragen entgegen (wandelt diese in SQL um) und liefert eine Ergebnistabelle zusammen mit einer Erklärung in NLP, was das System verstanden hat. Angesichts der Mehrdeutigkeit der natürlichen Sprache kann es vorkommen, dass Benutzeranfragen missverstanden werden. In diesem Fall können die Benutzer ihre Anfrage umformulieren und erneut stellen, so dass ein Dialog mit dem System entsteht, bis sie das gewünschte Ergebnis erhalten
-
Mit NLP: Algorithmus formt die Frage um und stellt seine Ergebnisse für verschiedene Kategorien zusammen:
-
-
Status
-
KOGIS:
-
Vertrag erstellt und signed
-
-
FHNW:
-
Vertrag übermittelt
-
Next Steps:
swisstopo:
-
-
Vacation: Spreadsheet : https://docs.google.com/spreadsheets/d/1NbxX66SkRSnbT0EYixfS5kWlgupG17-Al7ep0rfLhDE/edit#gid=0 -
Teams: -> Projektlink für Chat
-
FHNW:
-
Start: D1
-
Github repo erstellen und invites versenden
-
Arbeitsmethode
-
Sprints: to be defined
-
INfo Fluss Weekly /biweekly
-
-
Holidays https://docs.google.com/spreadsheets/d/1NbxX66SkRSnbT0EYixfS5kWlgupG17-Al7ep0rfLhDE/edit#gid=0
Next meeting:
-
11.1.2023 0830 Teams . > Dave will send invites
Microsoft Teams meeting
Participants : FHNW: Pia Bereuther Fiona Tiefenbacher Friedrich Striewski
swisstopo: David Oesch Pasquale Di Donato Tanja Humar
Status
-
KOGIS:
-
keine news
-
-
FHNW:
-
Status Arbeit: Link slides @pia
- Feedback von swisstopo
- JSON-LD fuer SEO optimal
- uU HTML supported analog zu OGC API für front, mit Metatags basierend auf schema.org
- Operation auf FHNW Infra oder swisstopo Infra ?
- swisstopo infra für Prod, simple analog MeteoSchweiz POC
- Gov Hackaton:
- FAST API als Idee
- Feedback von swisstopo
-
Next Steps:
swisstopo:
- Inhalt : Datenmodell Response Anforderung: Sample request erstellen
FHNW:
- Anforderung Hosting : welche EC2 Instanz wird benötigt?
- Gov Hackaton: FAST API oder ähnliche Idee weitereentwickeln
Next meeting:
-
23.1.2023 1400Teams
Microsoft Teams meeting siehe Einladung
Participants : FHNW:
- Pia Bereuther
- Fiona Tiefenbacher
- Friedrich Striewski
swisstopo:
- David Oesch
- Pasquale Di Donato
- Tanja Humar
Status
KOGIS:
FHNW:
Program Flow Geoharvester (in developement)
Next Steps:
swisstopo:
- Structure:JSON für https://github.com/davidoesch/geoservice_harvester_poc/blob/main/data/geoservices_CH.csv
- Debian Server analog zu MeteoSchweiz : Abklären mit infra Sam Friedli swisstopo intern was für eine Grösse.
- Formular für SSH Keys zukommen lassen
- User stories für Suche als Gruppe / nicht Gruppe
- Group optimieren in POC
- Version Services optimieren in POC
FHNW:
- GoVTechHackathon: am 31.1.2023 wird am swisstopo verschickt
- Link Flowdirekt in meeting notes
Next meeting:
-06.02.2023 1400 Teams
Microsoft Teams meeting siehe Einladung
Participants : FHNW:
- Pia Bereuter
- Fiona Tiefenbacher
- Friedrich Striewski
- Elia Ferrari
swisstopo:
- David Oesch
- Pasquale Di Donato ( excused)
- Tanja Humar
Status
KOGIS:
- Access swisstopo infra: ist in Bearbeitung via https://jira.swisstopo.ch/browse/SGS-74
- SSH Key form wird an euch versendet , ETA ausstehend
- clean up geoharvester done.
- Gov Tech Hackathon:
- Accepted ( pasquale has reccieved confirmation)
- Wer wird präsent sein von FHNW?
- Fiona ab 23.3 Mittag
- Pia 23.3 Nachmittag oder Freitag
- Elia 24.3 Freitag
- Donnerstag morgen: David Bitte noch anmelden: https://www.bk.admin.ch/bk/de/home/digitale-transformation-ikt-lenkung/bundesarchitektur/api-architektur-bund/govtech-hackathon.html -> https://mercator.typeform.com/govtech-hack23 "In case we don't have a running application for the days of the hackathon, how could the challenge be done? I assume participants could deploy on their local machines!?" -> Yes
FHNW:
- DB REDDIS: https://github.com/FHNW-IVGI/Geoharvester/issues/9 als option für DB
- Personas: Fragenkatalog und User Journeys erstellt, wireframes erstellt
- Front end: screenshots siehe wiki
- Elia: welcome on the Team für 1.5 Monate
- NLP / räumliche Daten TF/ IDF getestet
Next Steps:
swisstopo:
- @Pasquale - Access swisstopo infra: ssh key form
- add elia to mailing
FHNW:
- GOV Bitte noch anmelden: https://www.bk.admin.ch/bk/de/home/digitale-transformation-ikt-lenkung/bundesarchitektur/api-architektur-bund/govtech-hackathon.html -> https://mercator.typeform.com/govtech-hack23 -> Referenz auf challenge setzen: "Anwendung und Einbindung der API GeoHarvester der Schweiz in den Arbeitsalltag "
Next meeting:
-20.02.2023 1400 Teams
Microsoft Teams meeting siehe Einladung
Participants : FHNW:
- Pia Bereuter
- Fiona Tiefenbacher
- Friedrich Striewski
- Elia Ferrari
swisstopo:
- David Oesch (Ferien)
- Pasquale Di Donato
- Tanja Humar
Status
KOGIS:
- AWS IAM and SSH keys sent to IT. Pending on their side. We'll send a request for an ETA.
- GOV Hackathon: not yet accepted. They still have question (email sent to Pia)
- Status report to be presented on 03.03.2023. We need some slides
FHNW:
- added database Reddis and successfully installed environment necessary (WSL/Docker) - switch to Docker
- Reddis has geographical features and is much faster
- geographical integration more as an overview instead of selection
- 27.02 meeting FHNW for further course of action
- NLP to derive themes and keywords from Abstract: TFIDF algorithm, keywords extraction with rake, spacy as NLP model, topic modeling LSA/I difficult; used various tools for comparison --> discuss internally to chose which tools to use further
- how to get with one query the same dataset in another canton - ranking of similarity
- frontend element mapping to backend elements, to visually show the connection
- integrate Dave's code into the main repo
Next Steps:
swisstopo:
- Get an ETA from IT --> Next sprint ending 07.03.2023
FHNW:
- Prepare slides for status report (28.02.2023)
- answer GovTech Hackathon email
Next meeting:
-06.03.2023 1400 Teams
Microsoft Teams meeting siehe Einladung
Participants : FHNW:
- Pia Bereuter
- Fiona Tiefenbacher
- Friedrich Striewski
- Elia Ferrari
swisstopo:
- David Oesch
- Pasquale Di Donato
- Tanja Humar
Status
KOGIS:
- Infra access should be available tomorrow 07.03.2023
- Fix abstract and keywords concatenation in scraper
FHNW:
- 2 Challenges for the GeoHack (https://github.com/FHNW-IVGI/Geohack-Geoharvester)
- modified backend for GeoHack, so that the participants have easier access --> no docker, no redis just pandas dataframe, only WFS are loaded otherwise response to slow (~3s)
- Redis limited output datasets are 10, will be increased
- Tokenization does not work properly, especially search query with more than one word, is going to be analized and adjusted if possible
- further frontend development is on a pause, and so is fiona (ca. for the next 3 weeks)
Next Steps:
swisstopo:
- To be fixed: missing layers (https://github.com/davidoesch/geoservice_harvester_poc/issues/31). Dave available or FHNW?
- Provide info to access the infra
FHNW:
- tbd
Next meeting:
-20.03.2023 1400 Teams
Microsoft Teams meeting siehe Einladung
Participants : FHNW:
- Pia Bereuter
- Fiona Tiefenbacher
- Friedrich Striewski
- Elia Ferrari
swisstopo:
- David Oesch
- Pasquale Di Donato
- Tanja Humar
Status
KOGIS:
- Infra is available. Details sent to Friedrich
- Some nice improvements to the GeoHarvester
- open in QGIS and ArcGIS Pro
- fixed Tree
- added google index API https://github.com/davidoesch/geoservice_harvester_poc/commit/2b5110f33629326b9011f966bae3defbf8a572e4
- added zoomlevel calculation https://github.com/davidoesch/geoservice_harvester_poc/commit/5737b0bd112fb145858227cbb8cf7258267e3cc9
- speed up search with using PapaParseJS https://github.com/davidoesch/geoservice_harvester_poc/commit/4f8e0a6302fe48e1ae59614eeb5a651ce6fb28d0
- added google search console (personal credentials of @davidoesch) https://github.com/davidoesch/geoservice_harvester_poc/commit/e856fa2d9a13b5bf6065e305e0ccb788120ac7e8 with client secret https://github.com/davidoesch/geoservice_harvester_poc/commit/91353f05f028a491b56578c3f278976d8ed4df80
- added shortened map.geo.admin.ch URLS, due to the time for generation, the GA runtime exceeds 360min therefore uncommented https://github.com/davidoesch/geoservice_harvester_poc/commit/6d1f8055ed02935bbd3d95ea7b0485e73e54fa7d needs to be added when it is run ona propoer infra. CSV will be way smaller
- nice Search interface and loading wheel https://github.com/davidoesch/geoservice_harvester_poc/commit/b08625cbfe70a90f126a1f1edefe84be25a85493
FHNW:
Next Steps:
swisstopo:
- tbd
FHNW:
- tbd
Next meeting:
-17.04.2023 1400 Teams
Microsoft Teams meeting siehe Einladung
Participants : FHNW:
- Pia Bereuter
- Fiona Tiefenbacher
- Friedrich Striewski
- Elia Ferrari
swisstopo:
- David Oesch
- Pasquale Di Donato
- Tanja Humar
Status
KOGIS:
FHNW:
Next Steps:
swisstopo:
- DNS?
- Spec API
- Spec GUI
FHNW:
- HTTPS ?
- Use geoservices_CH.CSV as data source (if not already the case)
- Provide a unique getData endpoint. The endpoint returns all data (excepted "UPDATE", Which is overall empty). Need to support pagination. This endpoint should also support filtering on service provider and/or service type
- Provide an endpoint {datasetID}. The endpoint provides details on one specific dataset. It could be used also by the GUI (see mockups)
- Is it possible to "overwrite" the fields labels? E.g. "Provider" instead of "OWNER"
- Check/Improve search --> See https://davidoesch.github.io/geoservice_harvester_poc/
Next meeting:
-02.05.2023 09:30 Teams