wget抓取網頁內容疑問!? - Linux

Margaret · 2017-07-10

Table of Contents

各位板友大家好，

想請問如果要用wget抓取網頁內容該如何操作呢?
我需要抓取http://24.23.159.200:8603/頁面的內容，
但是用wget只能抓到html的標籤，
懇請板上先進提供指引，謝謝大家。

--

--

All Comments

Jessica2017-07-11

curl

Jack2017-07-12

那個算是動態網頁內容，裡面有 js 語法讓瀏覽器去進行

Ingrid2017-07-16

內容大概就是每隔一秒對某個 url 請求
timeout 1 curl http://24.23.159.200:8603/stream
測試看看

Agnes2017-07-20

謝謝二位，真的可以了!curl為什麼可以撈到後端產生的資料呢?

Poppy2017-07-21

如果我要寫個爬蟲程式，不用libcurl的話能夠做到嗎?
其實我想問的是這件事 XDDD

Delia2017-07-22

這個撈動態網頁資料的方式有沒有專有名詞呢?

Madame2017-07-26

主要是好像用python或node.js相對於Qt好像比較好爬蟲..

Frederic2017-07-30

但是因為需要直接用qt程式碼進行爬蟲，所以想和板友請教一下

Skylar Davis2017-08-03

就只是去分析網頁的行為啊

Steve2017-08-06

Eartha2017-08-08

拉資料然後填充到網頁裡

Edwina2017-08-11

就是說你要的網頁只是骨架實際上內容是用 js

Hedy2017-08-14

拉東西下來然後填進骨架但是 wget 不會去處理 javascript
所以你拉下來會是只有一點 html
如果你用 wget http://24.23.159.200:8603/stream 也是有的

Quanna2017-08-17

疑，對耶!wget也是有的，因為我一開始沒有加stream..

Rebecca2017-08-22

原來有這種東西...XD

Candice2017-08-25

謝謝CP64大喔 ^^