wget完整網頁 - Linux

Charlie · 2014-02-13

Table of Contents

第一次發問請多多指教> <

我想利用Linux的wget去抓取網頁資料

但發現我想抓的網頁含有ajax的內容

想請問這樣還有方法可以抓取完整的網頁內容嗎

如果wget無法做到,其他可達成的任何方法都可以...

先謝謝大家回答!!

--

All Comments

Tristan Cohan2014-02-18

wget是抓檔案用的，而且還是要知道詳細網址

Isabella2014-02-18

用chrome的dev tool看一下load完整個網頁會有哪些request

Rebecca2014-02-19

再去推敲ajax抓網頁其他部份的rule

Quanna2014-02-19

用 headless browser 跑完網頁再輸出

Hedda2014-02-24

Rebecca2014-02-28

這邊附上網址~因為想抓取多個類似網頁的資料
所以想利用指令或是程式的方式!

Carol2014-03-01

(靜態)網頁內容的話我比較常用 curl
不過原 po 的狀況應該研究一下 ajax 從哪抓東西

Blanche2014-03-05

然後直接去那抓資料，通常 ajax 的資料也比網頁
好 parse

Kumar2014-03-08

嗯嗯,因為我用curl還是沒辦法抓完整的網頁@@

Cara2014-03-11

看了一下你需要資料是這個? http://tinyurl.com/k4mm9zd

Kelly2014-03-13

就是這個!請問這東西在哪? 謝謝!

Agnes2014-03-17

已經解決了!謝謝各位~詳見s版友的回文