初期セットアップ・データアップデート手順 - notsobad-jp/zorapi GitHub Wiki

データの最新化

最新の青空文庫公式CSVをダウンロードしてくる

https://www.aozora.gr.jp/index_pages/person_all.html

「公開中 作家別作品一覧拡充版:全て(CSV形式、UTF-8、zip圧縮)」を選択

tmp/csv/__all_books.csvとして保存

青空文庫Githubリポジトリを最新化

tmp直下で以下を実行。

git clone --depth 1 https://github.com/aozorabunko/aozorabunko

※ファイルサイズが大きいので、履歴は持たずにshallow clone (https://qiita.com/usamik26/items/7bfa61b31344206077fb)

2回目以降の更新時はfetchでOK。

下準備

独自データを追加する処理。

Books

アクセス数カウント

node tmp/getAccessCount.js

これで、tmp配下にaccessCount.jsonが作成される。

文字数・書き出し情報取得

node tmp/getCharCountAndBeginning.js

これで、tmp/csv/__all_books.csvに情報を追加したcsvファイルがtmp/output.csvとして作成される。 (さっき作ったaccessCount.jsonの内容も合わせて反映する)

Persons

[TODO] persons.csvの作成

booksから重複を除いてpersons.csvを作成する(未実装)。

作者別作品数の集計

node tmp/getBooksCount.js

これで、tmp/booksCount.jsonが作成される。

[TODO]persons.csvを直接アップデートするようにする。

Firestoreにimport

node tmp/importToFirestore.js

スプレッドシート更新

books.csv, persons.csvを、それぞれスプレッドシートにimportしてデータを最新化する。