有關下載http上的資料 - Linux

Mia avatar
By Mia
at 2010-02-25T17:20

Table of Contents

感謝版友的推文、不過呢..

buganini:firefox裝個flashgot不是很容易嗎 02/25 01:06
roqe:我想過用 flashget 阿、可是它的 batch download 也要有規則 02/25 01:29
chiouss:把你要下載的 url 寫成 list 給 wget 去下載 02/25 10:39
appleboy46:寫 shell script,如果檔名有規則性的話 02/25 12:08

不是我不想寫 script, 可是沒規則阿 =.=

Adama:試試curl 02/25 12:58

他似乎也不支援類似 *.jpg 這樣的表示法、應該說是 http 不支援

buganini:flashgot明明就可以下載畫面上所有的連結 02/25 15:07

重點是「沒有畫面」阿

如果我在 URL 下連到某網頁當然可以直接用 flashget

可是我的 URL folder 之下沒有網頁、可是有圖檔的路徑

我在想說 wget 的原理應該是先讀網頁、再看你要 retrieve 多少層的內容

可是我那 folder 下是沒有網頁的

也就是那 folder URL 直接貼在瀏覽器上也會說 找不到此網頁

可是下面的圖是可以直接看到的


另外有好心版友寄信給我問 測試 URL

其實我是想抓 fanpop 的圖拉 =////=

舉個例像是 假設要抓這個

http://www.fanpop.com/spots/avatar/images/10575989/title/neytiri-jake

中間的圖檔路徑是

http://images2.fanpop.com/image/photos/10500000/
Neytiri-and-Jake-avatar-10575989-1024-768.jpg

我可以從這個 URL 直接抓到這張圖

現在我想要的是 抓到

http://images2.fanpop.com/image/photos/10500000/

下面所有的圖

可是因為這個 URL 下面沒有網頁、所以我用 wget 回覆 ERROR 404


希望這樣解釋清楚了

謝謝大家的時間


--


       There will NEVER be a day, when I won't think of you.



--
Tags: Linux

All Comments

Zora avatar
By Zora
at 2010-03-01T11:41
firefox裝個flashgot不是很容易嗎
Ula avatar
By Ula
at 2010-03-02T05:14
我想過用 flashget 阿、可是它的 batch download 也要有規則
Audriana avatar
By Audriana
at 2010-03-02T22:21
把你要下載的 url 寫成 list 給 wget 去下載
Rebecca avatar
By Rebecca
at 2010-03-03T16:11
寫 shell script,如果檔名有規則性的話
John avatar
By John
at 2010-03-08T05:05
試試curl
Adele avatar
By Adele
at 2010-03-12T15:54
flashgot明明就可以下載畫面上所有的連結
Jessica avatar
By Jessica
at 2010-03-16T21:22
暴力試過所有的檔名下載... 會不會被當DoS攻擊啊?
Freda avatar
By Freda
at 2010-03-18T23:48
我也在想 orz|| 用 brute force 跑檔名感覺很變態 =.=||
Damian avatar
By Damian
at 2010-03-21T05:37
parse 頁面原始碼,把所有jpg都抓回來呢?
Agnes avatar
By Agnes
at 2010-03-25T09:34
這是最終手段 orz|| 要寫這個就稍微麻煩了 = ="
Rae avatar
By Rae
at 2010-03-28T08:41
現在的問題就是沒有頁面啊!!!
Audriana avatar
By Audriana
at 2010-03-30T01:43
如果要 parse 頁面就變成要 parse 一開始看到圖的那個 URL
Kama avatar
By Kama
at 2010-03-30T08:50
然後讓程式自動按下一張、parse、再抓圖、再按下一張 = ="
我只是很不甘心明明就知道圖在那個資料夾卻不能有有效的下載
方法 orz|||
Daniel avatar
By Daniel
at 2010-04-04T08:41
http://www.fanpop.com/spots/avatar/wallpapers
Jacky avatar
By Jacky
at 2010-04-05T23:05
這頁的網址連結,只有數字有變化
Noah avatar
By Noah
at 2010-04-09T18:57
這剛好是因為所有圖的標題上傳者都取一樣,我要下的標題不同
Skylar Davis avatar
By Skylar Davis
at 2010-04-11T12:42
index沒提供就是沒提供
Enid avatar
By Enid
at 2010-04-12T11:58
人家作網頁的就是不喜歡你這樣來砍的 他們也很不甘心
Joe avatar
By Joe
at 2010-04-13T23:59
用css selector/xpath, 再加上curl或其他下載軟體試試看
Anthony avatar
By Anthony
at 2010-04-17T23:34
不就砍站嗎 ...... 它沒開index你怎麼知道檔名
Kyle avatar
By Kyle
at 2010-04-21T12:09
我自已架站也從來不開 index of
Ula avatar
By Ula
at 2010-04-26T05:56
原來這叫砍站(筆記)、所以既然沒 index 想要偷懶是不成的?

Linux中動態路由(與cisco路由器)

Eartha avatar
By Eartha
at 2010-02-25T17:18
Dear 鄉民 新年快樂阿!!!今天再來分享一個技術文件 但是這次不是我寫的 而是我老師寫的 主題是and#34;實作 Cisco 路由器與 Linux 的動態路由and#34; 裡面說的是 Linux主機如何透過Zebra來學到Cisco router中的routing table. 有興趣的可 ...

mod_rewrite 模擬 mod_userdir

Daniel avatar
By Daniel
at 2010-02-25T15:01
因為一些特殊需求,我的使用者網頁會放在 /home/user/home/user/www 下 兩次 /home/user 不是 typo,是真的兩層 /home/user XD 因為這種特殊目錄結構導致 apache 的 mod_userdir 沒法直接去讀使用者的網頁 (我用過 wildcard * 去設定 ...

MySQL 有關資料庫路徑的設定放在何處

Elvira avatar
By Elvira
at 2010-02-25T13:47
※ [本文轉錄自 PHP 看板] 作者: addbear (無家的小孩) 看板: PHP 標題: [請益] MySQL 有關資料庫路徑的設定放在何處 時間: Wed Feb 24 18:19:23 2010 對不起打擾各位一下, 請問 MySQL 資料庫的路徑資料, 除了是計錄在 /etc/mysql ...

如何更改usb隨身硬碟的擁有者權限?

Margaret avatar
By Margaret
at 2010-02-25T10:01
大家好: 我是新手使用者 目前遇到問題想請問各位如何解決 使用系統:fedora 10 問題狀況: 外接一USB隨身硬碟,利用 ls -al /media 指令後顯示 drwxr-xr-x 31 kelvin root 65536 1970-01-01 -8:00 usb_name 因為我想將擁有者都改 ...

ubuntu 的 ifcfg-* 都放在哪?

Gary avatar
By Gary
at 2010-02-25T09:22
※ 引述《maxwux (賓)》之銘言: : ※ 引述《pshuang (Angus )》之銘言: : : 因為ghost 一台ubuntu的內容 : : 放到另一台不同網卡機器上 : : 結果原本的 eth0 不見了 : : 預設介面變成 eth1 : : 原本大部分的 linux 只要把 /etc/sys ...