Crawler_bot_shell - yasushinzato/study GitHub Wiki

ニコニコ動画とi-TunesのランキングRSSを取得するクローラーシェルスクリプト

• itunes-Crawler.sh

#!/bin/bash
# フォルダーを月単位で作成してみる。
dirname="/home/vagrant/workspace/itunes-ranking-rss"
mkdir -p $dirname
dirnamemonth="${dirname}/`date +'%Y%m'`"
mkdir -p $dirnamemonth
filename="${dirnamemonth}/hourly-ranking-`date +'%Y%m%d%H%M'`.xml"
echo "Save to $filename"
filenamesound="${dirname}/hourly-music_ranking-`date +'%Y%m%d%H%M'`.html"

curl -s -o $filename -H "User-Agent: CrawlBot; [email protected]" https://itunes.apple.com/jp/rss/topsongs/limit=10/xml

• niconico-ranking.sh

#!/bin/bash
dirname="/home/vagrant/workspace/niconico-ranking-rss"
mkdir -p $dirname
dirnamemonth="${dirname}/`date +'%Y%m'`"
mkdir -p $dirnamemonth

filename="${dirnamemonth}/hourly-ranking-`date +'%Y%m%d%H%M'`.xml"
echo "Save to $filename"
filenamesound="${dirnamemonth}/hourly-music_ranking-`date +'%Y%m%d%H%M'`.html"

curl -s -o $filename -H "User-Agent: CrawlBot; [email protected]" https://www.nicovideo.jp/ranking/genre/all?&term=hourly&rss=2.0&lang=ja-jp 
# rssはhttps://dwango.github.io/niconico/genre_ranking/ranking_rss/　を参考にした。
curl -s -o $filenamesound -H "User-Agent: CrawlBot; [email protected]" https://www.nicovideo.jp/ranking/genre/music_sound&term=hourly&rss=2.0&lang=ja-jp 

• crontab -e でスケジュール登録

# 毎分30分にクローラーでニコニコのランキングを取得する。
30 * * * * /home/vagrant/workspace/bot/niconico-ranking.sh
# 毎分00分にクローラーでi-tunesのランキング10を取得する。
00 * * * * ~/workspace/bot/itunes-Crawler.sh