IMPORTXML&HTML 限制問題 - Google

Frederic avatar
By Frederic
at 2021-08-02T02:22

Table of Contents

Hi ALL

小弟最近想做個資料分析，想抓一些yahoo 上的新聞回來分析

目前想用這個網址 https://tw.news.yahoo.com/world

所以有幾個問題，想請問
1. importxml 好像有網址長度的限制, 有什方式可解決?
系統說：指定網址內容的資源超出大小上限。

https://imgur.com/QpjwYsD

2. importxml or importhtml 有什辦法可取得資料時又同時取得網址?
又或者有什其它參數or 工具可取得?
https://imgur.com/ynz7L5x

3. importhtml 會只抓第一頁資料，有什方式可以讓它也會向下滾動，
可以去抓第二頁以上的資料?

像是https://tw.news.yahoo.com/world，他預設只能顯示一頁資料，可
必需要偵測到下滾的動作，才會顯示第二頁的資料。

4. importxml or importhtml抓的資料，會同一格去顯示多行的資料，有什
指令可以讓他切成多行?

請多指教，謝謝。


--
Tags: Google

All Comments

Connor avatar
By Connor
at 2021-08-04T18:05
1. 超出大小的是網頁內容，不是網址
Rosalind avatar
By Rosalind
at 2021-08-07T09:48
2. 用 XPath 自行篩選出超連結的 href 屬性
Rae avatar
By Rae
at 2021-08-10T01:31
3. 這種動態載入的網頁，要去找背後 XHR 的網址跟參數
然後再用該網址跟參數去抓資料
Oscar avatar
By Oscar
at 2021-08-12T17:14
考慮用傳統程式語言的方式去解決吧，不然 AppSheet 也好
Cara avatar
By Cara
at 2021-08-15T08:57
ㄟ等等，不是 AppSheet，我是說指令碼編輯器..
Catherine avatar
By Catherine
at 2021-08-18T00:40
感謝兩位，偶會把他寫成AppScript，只是XHR還找不到範例
Necoo avatar
By Necoo
at 2021-08-20T16:23
還不清楚要怎看XHR的網址跟參數
Zanna avatar
By Zanna
at 2021-08-23T08:05
最直接的方式就是用 Chrome DevTool 看 network
Frederic avatar
By Frederic
at 2021-08-25T23:48
最保險的方式是從上面的方式再去追 source code 怎麼寫
Necoo avatar
By Necoo
at 2021-08-28T15:31
但是有很高的機率不是你想像的那樣，除非 importXXX
不是我想像的那樣 XDDDD（謎之聲：哪樣？）

google one 可以一個帳號買200G+100G嗎

Tracy avatar
By Tracy
at 2021-08-01T15:42
年底前要把學術帳號裡的東西全部移到個人帳號之中 可是我查了一下，目前只有提供100G、200G和2T三種方案 但就我個人的需求而言目前只需要300G就可以滿足了，最多也就400G 直接買2T方案顯然是過於浪費 因此想知道goolge one是否可以同一個帳號購買200G+100G，或是200G+200 ...

數位行銷證照如何改名?

Dorothy avatar
By Dorothy
at 2021-08-01T15:14
剛剛通過了數位行銷的證照 我考的是英文的 在輸入姓名的時候想說要讓證照跟我本名一樣 所以就輸入中文姓名 下載證照後才發現 證照無法顯示中文姓名 我的證照變成這樣 https://i.imgur.com/ibIVVR7.jpg 我的證照變成有跟沒有一樣 實在有夠難過 現在我想把證照姓名改成英文 想請問有沒有大 ...

已圖搜圖沒顯示尺寸大小了

Poppy avatar
By Poppy
at 2021-07-31T15:11
很久以前 已圖搜圖 在搜尋頁面就看的到圖片大小 後來要點了在網頁右邊滑鼠移過去才會顯示圖片大小 現在滑鼠移過去沒有顯示圖片大小 有裝 view image 可是沒有出現檢視圖片的選項 只有前往該網站才看的到 現在裝 view image 也沒用了 - ...

回到前個版本?

Skylar DavisLinda avatar
By Skylar DavisLinda
at 2021-07-30T14:05
win7 前天開始 chrome開兩個分頁就當掉 顯示out of memory 查一下實體記憶體用掉75%左右 以前開四個分頁才67%左右 請問怎麼停止更新 回到上個版本? 目前是 92.0.4515.107 64 位元 - ...

將別人與我共用的檔案傳到自己的雲端

Aaliyah avatar
By Aaliyah
at 2021-07-29T14:10
別人開共用的檔案 要如何搬到自己的硬碟呢？ 因為檔案有點大 全部下載下來不太方便 想直接移到我的雲端比較方便 但上網查過「移至」這個功能已經不能使用了 先移到星號區再shift+z 顯示伺服器錯誤，也沒用 有什麼其他方法呢？ 謝謝 ----- Sent from JPTT on my iPhone - ...