wget同時下載固定數目的檔案 - Linux

Catherine avatar
By Catherine
at 2021-02-26T13:57

Table of Contents

請教 linux, bash的先進、專家。我需要下載一些 gene data sets. 在網上找到了用
cat file | xargs wget 這樣的 commands. 但是研究單位裡要求一次只能同時下載8個
檔案,第一批8個檔案下載完,再接著下載第2批8個檔案,直到所有檔案下載。請教一下
以下問題

(1) 不知道我以下的code要如何改,才能一次頂多下載8個檔案?
(2) 如果有些檔案已經先部分下載了,用 wget --continue是否可以重啟下載?
(3) 如果有些檔案已經先完全下載了,該如何避免重複下載?

以下是我的code. cat接的檔案是下載檔案的路徑。這一個有63個路徑。其他的還有幾百
個。

# Change current directory to the output folder
cd ${dir_PRJNA579178}

cat ${dir_PRJNA579178}/data-access-download-links_no-header.tsv | wc -l
# 63

# Change end of file symbol to Linux
dos2unix data-access-download-links_no-header.tsv

# Download files in current directory without having to specify output file
paths
## xargs -n 1: cat will pass one argument at a time (-n 1) to wget
## xargs -P 8 wget: execute at most 8 parallel wget processes at a time (-P 8)
cat data-access-download-links_no-header.tsv | xargs -n 1 -P 8 wget
--limit-rate=2m

感謝指教

--
Tags: Linux

All Comments

Robert avatar
By Robert
at 2021-02-28T20:06
比較簡單就是把檔案分成8份,開8個shell,每個shell
一次抓一個,那就會最多8個了

樹梅派Genpi64.img 無法執行 nestopia

Connor avatar
By Connor
at 2021-02-25T22:42
安裝 https://github.com/sakaki-/gentoo-on-rpi-64bit Genpi64.img version 1.6 下載 source Nestopia-1.50. 編譯 as follows, aclocal automake --add-missing --cop ...

qemu 音效與多螢幕問題

Kyle avatar
By Kyle
at 2021-02-23T02:48
我在 arch 上使用 virt-manager 安裝虛擬機, 電腦有兩個螢幕, 原本的作業系統上音效跟螢幕顯示都沒有問題, 但是在虛擬機中卻沒有音效也無法顯示雙螢幕 (1) 虛擬機中音效卡的設定能選的有 AC97, HDA(ICH6), HDA(ICH9) 三種我都試過了,但是都沒有聲音。 ( ...

你們還會distro-hopping嗎?

Audriana avatar
By Audriana
at 2021-02-22T23:40
我第一次接觸linux是 紅帽剛出來那幾版,沒一小時我就換到 mandrake了,mandrake比 紅帽多 15分鐘體驗後,馬上裝回 xp。那時感覺我拷,這什麼鳥?浪費我的時間,安裝完 還不能聽音樂看影片。 第二次是 linuxmint 15 kde rc用到 17,當時linuxmint還是dw的第一名 ...

菜鳥再次挑戰archlinux2-曲線救國

Sierra Rose avatar
By Sierra Rose
at 2021-02-21T22:11
我沒用過arch linux也沒用過i3WM,只有用Kali Linux(Gnome) / Parrot Security(KDE) 不過你想要用的cmus應該不難,kali linux跟parrot security也都能用, 最好搭配cava或cli-visualizer,這樣才會效果滿滿,不過我還是 ...

ubuntu 20.04 pppoe開機自動連線

Noah avatar
By Noah
at 2021-02-20T12:16
如題 以前用14.04會有pppoe連線選項可以設定,開機後就會自動連線 主要是用在測試架站方面,遠端主機通常是關著 需要的時候才會請遠端的人開機然後自動pppoe自動連線 最近升級20.04發現沒有這選項,於是就google 但多是下指令,指令下完後,網路設定視窗裡的選項變得還原先不太一樣 目前 ...