地理オープンデータ公開PFの検討 - w16y/opendata-livecamera-jp GitHub Wiki
地理オープンデータを公開するにあたって、適切なPFを検討する。 2Dデータを想定し、3Dデータは対象外とする。
プラットフォーム選定のポイント
- 公開するデータの規模と形式
- データ提供方式(ファイルダウンロード、API提供など)
- 運用とメンテナンス負担
比較
用途/要件 | GitHub | CKAN | ArcGIS Online |
---|---|---|---|
小規模データの公開 | 〇 | X | 〇 |
大規模データの公開 | △ | 〇 | 〇 |
データ提供API | X | △ | 〇 |
データカタログ管理 | X | △ | 〇 |
ポータルの提供 | △ | 〇 | 〇 |
運用・メンテナンス負担 | 〇 | X | △ |
ポリゴンデータ | X | X | 〇 |
〇: 適している
X: 適していない
△: 一部対応可能
1. 小規模データの公開
- GitHub:
- 小規模なCSVやGeoJSONファイルなどのデータを簡単にアップロード可能。
- 公開コストも無料で運用が簡単。
- CKAN:
- 小規模データの公開にはオーバースペック。
- 構築、設定、運用の手間がデータの規模に見合わない。
- ArcGIS:
- 小規模データも対応可能で、視覚化や配信フォーマットの多様性が強み。
2. 大規模データの公開
- GitHub:
- 大容量データの公開には制約がある(1ファイル100MBの制限)。
- Git LFSで対応可能。
- CKAN:
- 大規模データに適しており、サーバーリソース次第で拡張可能。
- ArcGIS:
- 大規模な地理データやタイルデータに最適で、高速な配信が可能。
3. データ提供API
- GitHub:
- API機能は提供されていない。
- CKAN:
- データをアップロードするだけでAPIを自動生成。利用者がデータを簡単に取得できる。
- ArcGIS:
- 地理データのAPI(REST API)が標準で提供され、地図ビューアとの統合も簡単。
4. データカタログ管理
- GitHub:
- カタログ管理機能はなく、READMEやフォルダ構成で代用する必要がある。
- CKAN:
- メタデータ管理、検索機能、タグ付けなどカタログ管理機能が充実している。
- ArcGIS:
- CKAN相当の機能を持つ。
- 地理空間標準のメタデータ定義や空間検索も可能。
5. ポータルの提供
- GitHub:
- GitHub Pagesを活用することで簡易的なポータルを作れるが、高機能ではない。
- CKAN:
- デフォルトでデータ公開ポータルとして機能し、カスタマイズも可能。
- ArcGIS:
- 高機能な地図ポータルを提供可能で、視覚的なデータ配信が得意。
6. 運用・メンテナンス負担
- GitHub:
- メンテナンス不要で、公開後の運用コストがほぼゼロ。
- IssueやPRを利用するなら人的コストが発生する。
- CKAN:
- サーバーのセットアップや運用、アップデートなどのメンテナンスが必要。
- ArcGIS:
- サーバーのセットアップやハードウェア管理が不要で、運用コストは低い。
- データの整理やクレジット消費管理を行う必要があるため、一定の運用負担が発生する。
7. ポリゴンデータ
- GitHub:
- ポリゴンデータそのものの視覚化や配信には対応していない。
- CKAN:
- ポリゴンデータそのものの視覚化や配信には対応していない。
- ArcGIS:
- ポリゴンデータの取り扱いに特化しており、視覚化、解析、API配信が可能。
各PFの特徴
GitHub
- 簡単・低コスト
- 小規模データの公開に適し、運用やメンテナンスの負担がほぼゼロ。
- GitHub Pagesを活用して簡易ポータルも提供可能。
- バージョン管理
- Gitを使用してデータやドキュメントのバージョン履歴を簡単に管理。
- 技術者向け
- 主に技術者を対象としており、APIやカタログ機能がないため一般利用者には不向き。
- ファイルサイズの制限あり
- 個々のファイルサイズ:100MBを超えるファイルはプッシュできない。50MBを超えるファイルを追加しようとすると警告が表示される。
- リポジトリ全体のサイズ:1GB未満に保つことが推奨され、5GBを超えないようにすることを強く推奨。
- https://docs.github.com/ja/repositories/working-with-files/managing-large-files/about-large-files-on-github
CKAN
- データ公開に特化
- データカタログ管理、メタデータ記述、検索機能を標準装備。
- REST APIを自動生成し、利用者がデータに簡単にアクセス可能。
- スケーラブル
- 大規模データや複数形式のデータ管理に対応。
- 拡張性が高く、プラグインやカスタマイズが可能。
- 公共用途に強い
- 政府や自治体がオープンデータポータルとして利用するケースが多い。
- 運用負担あり
- サーバーのセットアップや運用が必要で、小規模プロジェクトには不向き。
ArcGIS
- 地図データに特化
- ポリゴンデータ、地図タイル、地理データの視覚化や配信に強みがある。
- CSV、GeoJSON、タイルデータを1つの形式から自動生成可能。
- 高度な機能
- REST APIや地図ポータルを利用して、データを視覚的かつインタラクティブに提供可能。
- 分析ツールやダッシュボード機能も統合。
- ライセンスコストあり
- 有料ライセンスが必要。
- データの保存や解析機能の利用に応じて、クレジットを消費。
- エンタープライズ向け
- 公共機関や大規模なGISプロジェクトで活用されることが多い。
事例
高松市
ポータルサイト、Github、CKANの組み合わせで提供されている。
1. GitHub
- リポジトリURL:https://github.com/takamatsu-city/opendata/#%E9%AB%98%E6%9D%BE%E5%B8%82%E3%82%AA%E3%83%BC%E3%83%97%E3%83%B3%E3%83%87%E3%83%BC%E3%82%BF
- GitHubはデータのバージョン管理やコード共有、軽量なデータセットの公開に利用。
- 主な用途:
- 小規模データ(CSVやGeoJSONファイル)の保存と公開。
- 更新履歴の管理(データ変更履歴が明確)。
- 気がついたこと
- mainブランチはxlsxファイルを管理。
- GitHub Actionsでcsv, geojsonに自動変換。
- PRを利用して一般利用者からのデータ更新を受け付け。
- PR、commit logでオープンデータの差分の確認が可能。
- Geoloniaのopendata-editorを利用した編集リンクがある。
- README.mdを用いたリンク集があり簡易的なデータ一覧の役割を果たしている。
- mainブランチはxlsxファイルを管理。
2. CKAN
- ポータルURL:https://opendata.smartcity-takamatsu.jp/odp/
- CKANは、データカタログ管理、API生成が強み。
- 主な用途:
- 複数データセットを一元管理し、使いやすい形で公開。
- 検索機能やタグ付けで利用者が目的のデータを素早く見つけられる。
- 自動的にAPIを生成し、技術者向けにデータ提供。
- 気がついたこと:
- GitHubへのリンクをしているだけなので最終更新日などのメタデータはない。
- お知らせが運用されていない。
- あくまでGitHubへのリンクに徹している。
3. オープンデータたかまつ
- URL:https://opendata.takamatsu-fact.com/
- 高松市独自のWebポータルで、GitHubとCKANを統合し、ユーザーにとってわかりやすいインターフェースを提供。
- 主な用途:
- 利用者が地図などでデータを視覚化できる仕組みを提供。
- 市民や一般利用者向けの直感的なUIでデータ活用を促進。
- 気がついたこと:
- 上記のレポジトリのGithubPagesでデータとともに構築されている。
- データ更新情報を取得する仕組み