模擬關鍵字查詢,購置實驗設備的問題 - Linux

Eartha avatar
By Eartha
at 2013-11-08T14:00

Table of Contents

最近要作「網頁」與「關鍵字」的相關性分析,

問題如下,

機器人爬回來的網頁資料,會存放在資料庫裡。

不會爬回全世界的網頁,但也會有不少的資料,

Q1.請問該準備多少容量的硬碟,才會比較夠呢?

Q2.一部電腦可以接多少台硬碟呢?

若硬碟裝滿了,是不是可以增加硬碟,

讓一台電腦,去接很多很多塊硬碟?

或是每增加一些硬碟,就一定要增加一台電腦?

補充如下,這是內部人員要使用的實驗環境,所以電腦數約2~3台,

平時沒用都會關機,有用才會打開,目前要作的實驗是,

輸入某個「關鍵字」,例如「ptt」,計算相關的網頁數有多少筆,

查詢時間會控制在10秒內

Q3. 請問硬碟與硬碟間的資料可以互通嗎?

例如查詢硬碟A的資料查不到(或查到部份結果),再到硬碟B去查,

查到了,再顯示出來

--
Tags: Linux

All Comments

Zora avatar
By Zora
at 2013-11-11T20:30
q3:插滿硬碟作raid0應該就好了
Selena avatar
By Selena
at 2013-11-12T19:39
q1:你只抓文字還是全抓?抓回來會把html tags剝掉只留文字?
Audriana avatar
By Audriana
at 2013-11-16T05:27
q2:這跟你的預算比較有關,有錢就好辦事
Poppy avatar
By Poppy
at 2013-11-17T06:28
用 raid0 的好處是? 只抓文字跟標點符號,html tags
Zora avatar
By Zora
at 2013-11-20T22:59
全拿掉,請問這樣的需求,約多少預算,需多大的硬碟
Irma avatar
By Irma
at 2013-11-21T12:37
多少台電腦(電腦指主板+cpu)
Vanessa avatar
By Vanessa
at 2013-11-24T20:02
純粹看你的「不少資料」有多少XD
Charlie avatar
By Charlie
at 2013-11-28T23:34
少的話可能一兩顆1TB就夠,多的話可能一兩貨櫃的1TB都不夠
Gilbert avatar
By Gilbert
at 2013-12-03T04:40
只抓取繁體中文網站的話,大概需多少TB呢?
Caroline avatar
By Caroline
at 2013-12-04T10:26
網路上所有繁體中文網站!? 這也是用貨櫃而非TB當單位吧XD
Dinah avatar
By Dinah
at 2013-12-05T02:36
就連google也沒爬到全部,先根據有多少錢決定資料量吧
Kama avatar
By Kama
at 2013-12-08T16:36
至於互通什麼的跟硬體或linux似乎沒啥關係...
Ivy avatar
By Ivy
at 2013-12-09T01:26
抱歉,我問錯了,應該這樣問才對
Skylar Davis avatar
By Skylar Davis
at 2013-12-11T15:33
1TB 可以裝幾頁(假設1網站=1頁,1頁有1000字)
Irma avatar
By Irma
at 2013-12-12T08:14
這你可以自己算吧,和你儲存的方式有關
Rachel avatar
By Rachel
at 2013-12-15T23:17
假設存10TB, 那1台電腦可以接10顆硬碟嗎?
George avatar
By George
at 2013-12-20T22:14
又該如何組合這10塊硬碟的資料呢?
Sierra Rose avatar
By Sierra Rose
at 2013-12-23T04:21
有錢你想接幾顆HDD都辦得到
Joe avatar
By Joe
at 2013-12-23T10:32
如何組合也純粹看程式怎麼寫 @_@ 讀進不同硬碟上的資料跟
讀進同顆硬碟不同檔案,從作業系統的角度來看是一樣的吧@@
Dorothy avatar
By Dorothy
at 2013-12-27T15:06
尺度大到需要一群電腦一起工作時也許可以考慮hadoop之類的
Eden avatar
By Eden
at 2014-01-01T06:11
我實驗室用R720XD 能裝26顆。不錯用
Zenobia avatar
By Zenobia
at 2014-01-01T19:09
感激涕零 我就是在找像這樣的設備,不過還是沒有頭緒
Harry avatar
By Harry
at 2014-01-06T02:51
該怎麼建置呢,大大們的回答,我一頭霧水啊...
Callum avatar
By Callum
at 2014-01-08T16:42
就raid阿............
Erin avatar
By Erin
at 2014-01-12T17:21
分散式檔案系統 HDFS 或是其他的
Lauren avatar
By Lauren
at 2014-01-16T08:46
這樣問吧,2台電腦+10塊硬碟+20條排線
Andy avatar
By Andy
at 2014-01-19T19:12
如何把它們串在一起工作?市面上有多硬碟串接線這種東西嗎
Una avatar
By Una
at 2014-01-24T12:57
有點好奇為什麼沒有人建議原 po 直接用 NAS :P
Valerie avatar
By Valerie
at 2014-01-26T15:59
硬碟陣列櫃
Olga avatar
By Olga
at 2014-01-31T05:55
嗯,磁碟陣列櫃就是我要的東東

Debian persist ppp pppoe online

Linda avatar
By Linda
at 2013-11-08T08:18
保持debian persist ppp連線 apt-get install pppoe pppoeconf 將桌面右上角網路圖示先斷線 刪除右上角網路圖示的DSL設定 在[應用程式]下拉式功能表-andgt;系統工具-andgt;管理-andgt;ADSL/PPPOE configuration 設定完成 ...

Ubuntu 13.10 X64下的adobe reader安裝(已解決)

Quintina avatar
By Quintina
at 2013-11-07T20:09
雖然在別篇文章下有推文問過,不過還是決定開一篇來問。首先先整理一下自己對adobe reader的使用心得。 in 12.04 64bit:安裝Synaptic套件管理程式andgt;andgt;andgt;搜尋 acroreadandgt;andgt;andgt;把方框打勾,再按一下 套用,即可正常 ...

IBM 伺服器加裝 SSD 分割對齊問題

Faithe avatar
By Faithe
at 2013-11-07T17:56
※ [本文轉錄自 MIS 看板 #1IUsEf4_ ] 作者: zhucc (阿朱哥) 看板: MIS 標題: [請益] IBM 伺服器加裝 SSD 分割對齊問題 時間: Thu Nov 7 17:55:50 2013 明天授命要幫 IBM 伺服器加裝 SSD 硬碟,但是 SSD 據我知道會有對齊的問題 ...

使用dd備份系統的問題..

Aaliyah avatar
By Aaliyah
at 2013-11-07T12:28
各位板友大家好, 小弟使用Pandaboard操作Ubuntu Linux也有些日子了, 我是使用16G的SD卡,希望能直接將整個系統完整的備份, 使用dd指令備份了整個系統資料,過程並無顯示錯誤。 (新的SD卡並無任分割區) 在將新的SD卡插入Pandaboard後,無法正常開機.. 請問是哪裡出錯了呢 ...

lubuntu 安裝找不到原來分割表

Zora avatar
By Zora
at 2013-11-07T01:26
現在裝lubuntu到了分割畫面 只看到 /dev/sda 可用空間 500107MB 原先的分割區它都看不到 100GB #windows 7 100GB #未分割,預留給lubuntu 235GB #D槽,備份資料用 30GB #放Ghost檔 先前是 ...