有關下載http上的資料 - Linux

Table of Contents

感謝版友的推文、不過呢..

buganini:firefox裝個flashgot不是很容易嗎 02/25 01:06
roqe:我想過用 flashget 阿、可是它的 batch download 也要有規則 02/25 01:29
chiouss:把你要下載的 url 寫成 list 給 wget 去下載 02/25 10:39
appleboy46:寫 shell script,如果檔名有規則性的話 02/25 12:08

不是我不想寫 script, 可是沒規則阿 =.=

Adama:試試curl 02/25 12:58

他似乎也不支援類似 *.jpg 這樣的表示法、應該說是 http 不支援

buganini:flashgot明明就可以下載畫面上所有的連結 02/25 15:07

重點是「沒有畫面」阿

如果我在 URL 下連到某網頁當然可以直接用 flashget

可是我的 URL folder 之下沒有網頁、可是有圖檔的路徑

我在想說 wget 的原理應該是先讀網頁、再看你要 retrieve 多少層的內容

可是我那 folder 下是沒有網頁的

也就是那 folder URL 直接貼在瀏覽器上也會說 找不到此網頁

可是下面的圖是可以直接看到的


另外有好心版友寄信給我問 測試 URL

其實我是想抓 fanpop 的圖拉 =////=

舉個例像是 假設要抓這個

http://www.fanpop.com/spots/avatar/images/10575989/title/neytiri-jake

中間的圖檔路徑是

http://images2.fanpop.com/image/photos/10500000/
Neytiri-and-Jake-avatar-10575989-1024-768.jpg

我可以從這個 URL 直接抓到這張圖

現在我想要的是 抓到

http://images2.fanpop.com/image/photos/10500000/

下面所有的圖

可是因為這個 URL 下面沒有網頁、所以我用 wget 回覆 ERROR 404


希望這樣解釋清楚了

謝謝大家的時間


--


       There will NEVER be a day, when I won't think of you.



--

All Comments

Zora avatarZora2010-03-01
firefox裝個flashgot不是很容易嗎
Ula avatarUla2010-03-02
我想過用 flashget 阿、可是它的 batch download 也要有規則
Audriana avatarAudriana2010-03-02
把你要下載的 url 寫成 list 給 wget 去下載
Rebecca avatarRebecca2010-03-03
寫 shell script,如果檔名有規則性的話
John avatarJohn2010-03-08
試試curl
Adele avatarAdele2010-03-12
flashgot明明就可以下載畫面上所有的連結
Jessica avatarJessica2010-03-16
暴力試過所有的檔名下載... 會不會被當DoS攻擊啊?
Freda avatarFreda2010-03-18
我也在想 orz|| 用 brute force 跑檔名感覺很變態 =.=||
Damian avatarDamian2010-03-21
parse 頁面原始碼,把所有jpg都抓回來呢?
Agnes avatarAgnes2010-03-25
這是最終手段 orz|| 要寫這個就稍微麻煩了 = ="
Rae avatarRae2010-03-28
現在的問題就是沒有頁面啊!!!
Audriana avatarAudriana2010-03-30
如果要 parse 頁面就變成要 parse 一開始看到圖的那個 URL
Kama avatarKama2010-03-30
然後讓程式自動按下一張、parse、再抓圖、再按下一張 = ="
我只是很不甘心明明就知道圖在那個資料夾卻不能有有效的下載
方法 orz|||
Jacky avatarJacky2010-04-05
這頁的網址連結,只有數字有變化
Noah avatarNoah2010-04-09
這剛好是因為所有圖的標題上傳者都取一樣,我要下的標題不同
Skylar Davis avatarSkylar Davis2010-04-11
index沒提供就是沒提供
Enid avatarEnid2010-04-12
人家作網頁的就是不喜歡你這樣來砍的 他們也很不甘心
Joe avatarJoe2010-04-13
用css selector/xpath, 再加上curl或其他下載軟體試試看
Anthony avatarAnthony2010-04-17
不就砍站嗎 ...... 它沒開index你怎麼知道檔名
Kyle avatarKyle2010-04-21
我自已架站也從來不開 index of
Ula avatarUla2010-04-26
原來這叫砍站(筆記)、所以既然沒 index 想要偷懶是不成的?