還是記個筆記吧
暑假時用的rclone，寒假就全忘光了....
雖然有存當初的網址，但重新掌握還是需要時間
加上這次學了不少新東西，還是記個筆記比較實在...
1.使用方法：
rclone 動作 來源地址 目標地址 flag
動作常用的有：
config (設定）
ls (列出目錄與子目錄底下全部的元素）
lsd (只列出目錄底下的元素）
copy （複製，略過已經複製過的）
sync （同步，以來源為準，目標少的會複製、多的會刪除)
來源位置&目標位置可為 本機位置 或 遠端位置
flag常用的有:
-v
（顯示完整資訊，想要顯示進度要有這項）
--bwlimit xxxxK/M/G
（限制上傳速度，後面是單位可為K/M/G，例如：--bwlimit 8000k)
--checksum
（上傳時做完整檢查，以確保來源與目標完全相同(hash?)，
需要注意的是，過程中硬碟會不停的讀取且速度會降低）
--size-only
（上傳時只比對檔案的大小，相對checksum快，但可能有錯）
--dry-run
（試跑一次，看看會對目標做什麼變動）
--transfers int
(一次傳送多少個檔案，預設為4)
範例:
rclone copy D1: D2: -v -size-only -bwlimit 1800k
(從 D1: 複製到 D2:，顯示完整資訊 只比對雙方檔案大小 上傳速度
1800KB/s)
rclone sync D1:test/ D2:test/ -v -size-only
(從 D1: 同步到 D2:，顯示完整資訊 只比對雙方檔案大小）
2.過濾器：
rclone 不能直接在路徑上使用萬用字元，要使用一種flag來使用
例如不能用 D1:test/*.jpg 來表示D1:test/目錄下的全部jpg檔
要使用 D1:test/ --include *.jpg 來表示
其中規則應該是支援正規表達式的，不過我對正規不太熟.....
因為我對這也不熟，所以我就直接用官網的範例了.....
如果模式以"/"開頭，代表他在目錄的頂層，不往下搜尋
例如:
rclone ls D1: --include *.jpg
會列出:
D1:1.jpg
D1:2.jpg
但也會列出:
D1:test/1.jpg
D1:test/2.jpg
如果改成：
rclone ls D1: --include /*.jpg
則只會印出
D1:1.jpg
D1:2.jpg
p.s. windows v1.44好像沒辦法用"/"?
3.結合管線使用
這不做筆記我一定會忘掉......
rclone 有兩個指令:
cat
rcat
cat 和 linux 上的基本一樣，就是把檔案從stdout印出來
不過rclone cat 可以印目錄
（ex: rclone cat D1: 把D1:和子目錄底下的檔案全部印出來）
rcat 做的是和 cat 相反，他是將stdin的東西存到一個檔案裡
(ex: cat file.txt | rclone rcat D1:file.txt)
結合tar便可以將小檔案打包起來，藉由管線傳到rclone去處理
再加上這個好心人的腳本，便可分割上傳
https://github.com/Riebart/pipechunker
（我不會python不知道他有沒有暫存檔案，但好像沒有？）
3.1
tar 常用指令（原諒我不學無術又偷懶:P)
http://www.vixual.net/blog/archives/127
3.2
用gnupg ase 256加密
gpg --symmetric --cipher-algo AES256
輸入來自stdin，輸出至stdout
這個指令會要你輸入兩次密碼
解密時用gpg就好了
輸入一樣來至stdin，輸出一樣至stdout
如果要存入檔案，可以用gpg | cat > file
有些裝置會顯示
gpg: signing failed: Inappropriate ioctl for device
可用 export GPG_TTY=$(tty) 解決
3.3
pv顯示進度
這東西好像會顯示管線的進度（已經傳多少MB，現在每秒多少MB)
用 | pv | 夾在管線和管線中間即可使用
3.4
pipechunk.py
好心人寫的腳本，可以把tar的資料串流，分隔成一個一個的塊，再借由
rclone上傳到雲端硬碟
https://github.com/Riebart/pipechunker
作者給的使用範例：
tar -cf - MyMachine/ |
gpg --compress-algo none -er [email protected] | pv |
python3 ~/Desktop/pipechunk.py
--name
"od:/WindowsImageBackup/MyMachine.2018-12-01/MyMachine-2018-12-01
.tar.enc"
--command '["rclone", "rcat", "--verbose", "--stats", "10s"]'
--chunk-size 50000000
--parallel 8
--chunk-size 是指要每個分割檔要多大，範例是50MB一個分割
上傳後的檔案名會是 file_name.0001，file_name.0002 以此類推
需要注意的是--command 裡的參數每有一個空格就要加一次""
例如我想要加上 --bwlimit 1500K，就要寫成
'["--bwlimit", "1500K"]'
p.s. 不會python，看了老半天也不知道他是全部分割好再上傳還是，串流
上傳，不過我傾向於後者
p.s2 補充，上傳大檔案後發現應該是串流上傳，並且會使用RAM做暫存
如果一個區塊大小是1G --parallel為8 的話會吃8G的RAM
可以適時的調整區塊大小和--parallel
p.s3 --parallel參數是開幾個rclone同時上傳，如果--parallel為4
--bwlimit 500k上傳限制就會是500k*4 = 2000k
3.5
下載再還原
如果還是要使用管線來達成可用rclone cat指令，將全部的分割檔全部下載
並還原
例如：
rclone cat D1:tar/ | gpg | pv | tar -x
大概4jone，之後想到什麼再寫上來...
--
暑假時用的rclone，寒假就全忘光了....
雖然有存當初的網址，但重新掌握還是需要時間
加上這次學了不少新東西，還是記個筆記比較實在...
1.使用方法：
rclone 動作 來源地址 目標地址 flag
動作常用的有：
config (設定）
ls (列出目錄與子目錄底下全部的元素）
lsd (只列出目錄底下的元素）
copy （複製，略過已經複製過的）
sync （同步，以來源為準，目標少的會複製、多的會刪除)
來源位置&目標位置可為 本機位置 或 遠端位置
flag常用的有:
-v
（顯示完整資訊，想要顯示進度要有這項）
--bwlimit xxxxK/M/G
（限制上傳速度，後面是單位可為K/M/G，例如：--bwlimit 8000k)
--checksum
（上傳時做完整檢查，以確保來源與目標完全相同(hash?)，
需要注意的是，過程中硬碟會不停的讀取且速度會降低）
--size-only
（上傳時只比對檔案的大小，相對checksum快，但可能有錯）
--dry-run
（試跑一次，看看會對目標做什麼變動）
--transfers int
(一次傳送多少個檔案，預設為4)
範例:
rclone copy D1: D2: -v -size-only -bwlimit 1800k
(從 D1: 複製到 D2:，顯示完整資訊 只比對雙方檔案大小 上傳速度
1800KB/s)
rclone sync D1:test/ D2:test/ -v -size-only
(從 D1: 同步到 D2:，顯示完整資訊 只比對雙方檔案大小）
2.過濾器：
rclone 不能直接在路徑上使用萬用字元，要使用一種flag來使用
例如不能用 D1:test/*.jpg 來表示D1:test/目錄下的全部jpg檔
要使用 D1:test/ --include *.jpg 來表示
其中規則應該是支援正規表達式的，不過我對正規不太熟.....
因為我對這也不熟，所以我就直接用官網的範例了.....
如果模式以"/"開頭，代表他在目錄的頂層，不往下搜尋
例如:
rclone ls D1: --include *.jpg
會列出:
D1:1.jpg
D1:2.jpg
但也會列出:
D1:test/1.jpg
D1:test/2.jpg
如果改成：
rclone ls D1: --include /*.jpg
則只會印出
D1:1.jpg
D1:2.jpg
p.s. windows v1.44好像沒辦法用"/"?
3.結合管線使用
這不做筆記我一定會忘掉......
rclone 有兩個指令:
cat
rcat
cat 和 linux 上的基本一樣，就是把檔案從stdout印出來
不過rclone cat 可以印目錄
（ex: rclone cat D1: 把D1:和子目錄底下的檔案全部印出來）
rcat 做的是和 cat 相反，他是將stdin的東西存到一個檔案裡
(ex: cat file.txt | rclone rcat D1:file.txt)
結合tar便可以將小檔案打包起來，藉由管線傳到rclone去處理
再加上這個好心人的腳本，便可分割上傳
https://github.com/Riebart/pipechunker
（我不會python不知道他有沒有暫存檔案，但好像沒有？）
3.1
tar 常用指令（原諒我不學無術又偷懶:P)
http://www.vixual.net/blog/archives/127
3.2
用gnupg ase 256加密
gpg --symmetric --cipher-algo AES256
輸入來自stdin，輸出至stdout
這個指令會要你輸入兩次密碼
解密時用gpg就好了
輸入一樣來至stdin，輸出一樣至stdout
如果要存入檔案，可以用gpg | cat > file
有些裝置會顯示
gpg: signing failed: Inappropriate ioctl for device
可用 export GPG_TTY=$(tty) 解決
3.3
pv顯示進度
這東西好像會顯示管線的進度（已經傳多少MB，現在每秒多少MB)
用 | pv | 夾在管線和管線中間即可使用
3.4
pipechunk.py
好心人寫的腳本，可以把tar的資料串流，分隔成一個一個的塊，再借由
rclone上傳到雲端硬碟
https://github.com/Riebart/pipechunker
作者給的使用範例：
tar -cf - MyMachine/ |
gpg --compress-algo none -er [email protected] | pv |
python3 ~/Desktop/pipechunk.py
--name
"od:/WindowsImageBackup/MyMachine.2018-12-01/MyMachine-2018-12-01
.tar.enc"
--command '["rclone", "rcat", "--verbose", "--stats", "10s"]'
--chunk-size 50000000
--parallel 8
--chunk-size 是指要每個分割檔要多大，範例是50MB一個分割
上傳後的檔案名會是 file_name.0001，file_name.0002 以此類推
需要注意的是--command 裡的參數每有一個空格就要加一次""
例如我想要加上 --bwlimit 1500K，就要寫成
'["--bwlimit", "1500K"]'
p.s. 不會python，看了老半天也不知道他是全部分割好再上傳還是，串流
上傳，不過我傾向於後者
p.s2 補充，上傳大檔案後發現應該是串流上傳，並且會使用RAM做暫存
如果一個區塊大小是1G --parallel為8 的話會吃8G的RAM
可以適時的調整區塊大小和--parallel
p.s3 --parallel參數是開幾個rclone同時上傳，如果--parallel為4
--bwlimit 500k上傳限制就會是500k*4 = 2000k
3.5
下載再還原
如果還是要使用管線來達成可用rclone cat指令，將全部的分割檔全部下載
並還原
例如：
rclone cat D1:tar/ | gpg | pv | tar -x
大概4jone，之後想到什麼再寫上來...
--
All Comments