Parallel --retries使用上的問題 - Linux

Una avatar
By Una
at 2021-05-21T13:08

Table of Contents

大家好,小弟最近因為需要複製個很多目錄跟檔案的project,
覺得只用cp -r速度太慢,因此想用parallel的方式複製,
但用find xxx很麻煩需要先建目錄再copy檔案,
如果各位大大有更好的方式再麻煩指導一下。

我現在遇到的問題是,我用parallel的方式去mkdir,
路徑大概是這樣
source_dir-projname-folder1-folder11-folder111
-folder12-folder122
指令如下:
cd source_dir
find projname -type d | parallel -j32 -retries 99 mkdir -v dest_dir/{}
我已經有加上retries了,應該如果他先建folder11
而此時folder1還沒建就會出現error,
預期加上retries應該會再重試,但似乎沒用,
我加到99了還是會出現像這樣的錯誤,
mkdir: created directory '/dest_dir/projname/folder1'
mkdir: cannot create directory ‘/dest_dir/projname/folder11/folder111’: No
such file or directory
mkdir: cannot create directory ‘/dest_dir/projname/folder12/folder122’: No
such file or directory
mkdir: created directory '/dest_dir/projname/folder11'
想問一下各位大大這個是否有什麼解快方式?感謝各位大大收看以及指導。

--
Tags: Linux

All Comments

Harry avatar
By Harry
at 2021-05-24T16:41
mkdir 加個 -p, 會連老爸,阿公跟阿祖之類的一起建
Eden avatar
By Eden
at 2021-05-28T10:57
-p正解
Doris avatar
By Doris
at 2021-06-01T17:26
喔喔~太感謝了,原來只要-p就可以了,多謝指導。
Andrew avatar
By Andrew
at 2021-06-06T05:35
然後這種你可以考慮把樣本 tar 起來, 再解到目標目錄
Enid avatar
By Enid
at 2021-06-08T12:03
沒辦法,我沒有source的寫入權限.....><
Anthony avatar
By Anthony
at 2021-06-09T19:00
Source 只要能讀取就可以了呀
Lily avatar
By Lily
at 2021-06-13T20:36
但就是因為source在遠端,遍歷的速度比較慢,所以才要用
parallel的方式加快,直接tar到local也還是一樣慢....><
Cara avatar
By Cara
at 2021-06-18T11:43
都是目錄,速度影響不大吧?
Anonymous avatar
By Anonymous
at 2021-06-19T05:28
我在windows用robocopy /s /MT:32的話大概1,2個小時co完
Sierra Rose avatar
By Sierra Rose
at 2021-06-22T16:59
不過如果在linux用cp -r或是rsync的話大概都5,6小時以上
Elvira avatar
By Elvira
at 2021-06-26T17:14
昨天試了tar cvf跟tar -I pigz -cf也都差不多慢....

Nextcloud 如何從外部訪問

Thomas avatar
By Thomas
at 2021-05-19T23:06
各為大家好 我正在練習用RPI架設了一個Nextcloud (on Debian) 連線架構 port:80 中華電信小烏龜------andgt;AP(固定IP) . . . . . RPI(WIFI)(192.168.x.x) (浮動IP ...

有關 /usr/src/linux-headers-*-generic

Olivia avatar
By Olivia
at 2021-05-19T22:43
※ [本文轉錄自 LinuxDev 看板 #1WfIFBWb ] 作者: gowrite (gowrite) 看板: LinuxDev 標題: [問題] 有關 /usr/src/linux-headers-*-generic 時間: Wed May 19 22:42:17 2021 各位好,我是 li ...

終於不用開VM報稅

Olga avatar
By Olga
at 2021-05-15T09:40
以往財政部限制 Windows 使用者仍必須下載一般報稅軟體報稅,前年開始放寬條件,無 論你是 Windows、Mac 或 Linux 用戶都能使用「綜合所得稅電子結算申報繳稅系統」線 上版進行報稅,支援瀏覽器包括 Google Chrome、Firefox、Safari、IE、Edge,只要打 開瀏覽器就能 ...

[已解決] gcin 輸入法吃鍵

Madame avatar
By Madame
at 2021-05-14T13:21
初次詳讀 vim 的 :help 裡面有一段話這樣講: Jump to a subject: Position the cursor on a tag (e.g. bars) and hit CTRL-]. ...

Gentoo第一次安裝時間分享

Caitlin avatar
By Caitlin
at 2021-05-13T05:54
使用第一次安裝的make world來看CPU編譯時間 emerge --ask --verbose --update --deep --newuse atworld MAKTOPTS=jx+1 , x=(cpu核心+HT), 用linuxmint 19.3安裝完的SSD當開機碟,裝gentoo到另一顆128 ...