Tuto migration Google vers Dropbox - projetssd/ssdv2 GitHub Wiki
Tuto migration Google vers Dropbox
Attention cela concerne ma propre migration, il peut y avoir des divergences pour vous. N'hésitez pas à demander de l'aide sur le discord
Mise à jour de Rclone, il faut au minimum la version 1.58
rclone version
pour connaitre votre version actuellerclone selfupdate
pour mettre à jour vers la dernière version dispo
à partir de 1.62.2, il faut installer fuse3
sudo apt install fuse3
et par conséquent être en Ubuntu 20.04
Dropbox :
Vous devez ajouter un dossier nommé “Medias” à la racine de Dropbox
Création du remote Dropbox :
- création de dropbox non crypté : ne pas rentrer d'id ni de password pour générer le token
- création de dropbox crypté : penser à voir dans les options pour 3 (Encode using base32768) voir l’exemple plus bas
Ajout du remote dropbox dans le rclone.config du serveur : (ça doit ressembler à ce qui est ci-dessous)
[dropbox]
type = dropbox
token = {"access_token":"sl.BgNdT0uK1-fq","token_type":"bearer","refresh_token":"sN4vbcqQXsclGm6","expiry":"2023-06-1302:00"}
[dropbox_crypt]
type = crypt
filename_encoding = base32768
suffix = none
remote = dropbox:Medias
password = ******************
password2 = ******************
[teamdrive]
type = drive
client_id = ******************-8h5ontent.com
client_secret = ******************
scope = drive
token = {"access_token":"ya29.a0AW0169","token_type":"Bearer","refresh_token":"1//03ECegslU4M","expiry":"202302:00"}
team_drive = ******************
root_folder_id =
[teamdrive_crypt]
type = crypt
remote = teamdrive:Medias
filename_encryption = standard
password = ******************
password2 = ******************
Ajout du service rclone-dropbox et ajout du point de montage dans Mergerfs :
- Création du point de montage pour dropbox :
mkdir /mnt/dropbox
- Création du service :
rclone-dropbox.service
nano /etc/systemd/system/rclone-dropbox.service
Warning Remplacer
$USER
,$GROUP
,$UID
et$GID
par vos paramètres.
[Unit]
Description=Dropbox Rclone VFS Mount
AssertPathIsDirectory=/mnt/rclone
After=network-online.target
[Service]
User=$USER
Group=$GROUP
Type=notify
ExecStart=/usr/bin/rclone mount \
--config=/home/$USER/.config/rclone/rclone.conf \
--uid=$uid --gid=$gid \
--umask=002 \
--allow-other -v \
--async-read=true \
--allow-non-empty \
--buffer-size=256M \
--size-only \
--dir-cache-time=5000h \
--log-systemd \
--user-agent='Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.131 Safari/537.36' \
--cache-dir=/home/$USER/.config/rclone/cache \
--use-mmap \
--vfs-read-ahead=128M \
--vfs-read-chunk-size=256M \
--vfs-read-chunk-size-limit=2G \
--vfs-fast-fingerprint \
--vfs-cache-max-age=504h \
--vfs-cache-mode=full \
--vfs-cache-poll-interval=30s \
--vfs-cache-max-size=250G \
dropbox_crypt: /mnt/rclone/
ExecStop=/bin/fusermount -uz /mnt/rclone
Restart=on-abort
RestartSec=5
[Install]
WantedBy=default.target
- enregistrer le fichier.
ctrl+X
On modifie maintenant mergerfs
systemctl --system stop mergerfs.service
- On édite
mergerfs.service
nano /etc/systemd/system/mergerfs.service
Warning Remplacer $USER par le votre
[Unit]
Description=gmedia mergerfs mount
Requires=rclone.service rclone-dropbox.service
After=rclone.service rclone-dropbox.service
[Service]
Type=forking
ExecStart=/usr/bin/mergerfs /home/$USER/local=RW:/mnt/rclone/$USER=NC:/mnt/dropbox=NC /home/$USER/Medias -o rw,use_ino,allow_other,func.getattr=newest,category.action=all,category.create=ff,cache.files=auto-full
ExecStop=/bin/fusermount -u /home/$USER/Medias
KillMode=process
Restart=on-failure
[Install]
WantedBy=multi-user.target
- Rechargement des service :
sudo systemctl daemon-reload
- Démarage du montage dropbox :
service rclone-dropbox start
- A ce stade on vérifie que le service et fonctionel :
ls -lsha /mnt/dropbox
Note Vérifiez que tout vos fichiers de dropbox sont bien visible
Warning
Si ce n'est pas le cas, on s'arette la et on debug :
- On regarde déja se qu'il se passe dans le log systemd :
Sa peut étre une simple faute de frappe ou de cc :
sudo systemctl --system status rclone-dropbox.service
- Si il n'y a pas assez de détail vous pouvez nous demander de l'aide sur le discord:
journalctl -u rclone-dropbox.service
- Fournir le log complet
- Activation du service au boot
sudo systemctl --system enable rclone-dropbox.service
- Démarage de mergerfs
service mergerfs start
Note remplacer start par status pour confirmer que tout fonctionne correctement, vous pouvez également vérifier dans le /mnt/rclone et /mnt/dropbox que vous avez vos fichiers
il faut ensuite relancer certain container
docker restart sonarr radarr plex ""et tout ceux qui utilises les données Medias""
Commande de migration des données (à faire depuis un VPS):
attention à vérifier si à la racine de google vous avez oui ou non un dossier correspondant à votre pseudo — rclone lsd teamdrive_crypt:
je vous conseil de faire dossier par dossier
rclone move -Pv teamdrive_crypt:kesurof/Films4K dropbox_crypt:Films4K --fast-list --max-backlog=2000000 --dropbox-batch-size 70 --dropbox-batch-mode async --dropbox-batch-timeout 20s --tpslimit-burst=1 --tpslimit=10 --transfers=8 --use-mmap --no-update-modtime --dropbox-chunk-size=64M --progress -v --max-transfer 9T --cutoff-mode=soft --drive-stop-on-download-limit
Il faut également modifier cloudplow ou crop pour indiquer le nom du remote correspondant à Dropbox ainsi que le script de backup
/usr/local/bin/backup
il faut remplacer teamdrive_crypt par dropbox_crypt/usr/local/bin/restore
il faut remplacer teamdrive_crypt par dropbox_crypt