sparkR.init問題 - Linux

Charlotte avatar
By Charlotte
at 2017-03-31T16:18

Table of Contents

[sparkR.init問題]
我sparkR初始化上一直出問題,
想請教一下前輩們
[目的]=========================================
用spakR進行平行化計算
[系統環境]=======================================
我在vm上模擬一台master和一台node
沒有裝hadoop直接就裝spark,
版本:
R version 3.2.3 (2015-12-10)
ubuntu:16.04
spark:2.1.0
sparkR:1.4.1

[sparkR安裝]====================================
如下是我的安裝過程(以下只安裝在master)

[Part1.下載套件rJava和devtools]
Step1.設訂R CMD javareconf
sudo JAVA_HOME=/usr/lib/jvm/jdk/ R CMD javareconf
Step2.更新ubuntu函式庫,以下載devtools]
sudo apt-get -y install libcurl4-gnutls-dev libcurl4-openssl-dev libssl-dev
Step3.於R-shell下載rJava和devtools套件
sudo R
install.packages("rJava")
install.packages("devtools")
[Part2.於R-shell用devtools下載sparkR套件、啟動]
devtools::install_github('apache/[email protected]', subdir='R/pkg')

簡單來說,我就只是安裝rJava套件和devtools

[初始化code]====================================
我是在Rstudio server上啟動sparkR的

Sys.setenv(SPARK_HOME='/home/hduser/spark/')
.libPaths(c(file.path(Sys.getenv('SPARK_HOME'), 'R', 'lib'), .libPaths()))
Sys.setenv('SPARKR_SUBMIT_ARGS'='"--packages"
"com.databricks:spark-csv_2.10:1.0.3" "sparkr-shell"')
library(SparkR, lib.loc = "/home/hduser/spark/R/lib/")
library(devtools)
#初始化sparkr為sc
sc <- sparkR.init(master = "local", sparkHome = "/home/hduser/spark")
sqlContext <- sparkRSQL.init(sc)

[錯誤訊息]=======================================
在sc <- sparkR.init(master = "local", sparkHome = "/home/hduser/spark")
這行會出現訊息
17/03/31 02:30:17 ERROR RBackendHandler: createSparkContext on
org.apache.spark.api.r.RRDD failed
java.lang.IllegalArgumentException: Invalid type
.......
Error: returnStatus == 0 is not TRUE

附圖:

https://www.facebook.com/photo.php?fbid=1490142967725208&set=p.1490142967725208&type=3&theater


https://www.facebook.com/photo.php?fbid=1490143787725126&set=p.1490143787725126&type=3&theater


不知道怎麼了!!!QAQ
希望有貴人指點,感謝




--
Tags: Linux

All Comments

如何更新filezilla

Necoo avatar
By Necoo
at 2017-03-31T10:34
我用的版本ubuntu16.10 FileZilla 3.21.0(目前) 新版3.25.1的資料夾放在opt裡面 要怎麼更新 麻煩各位解惑 感激不盡 - ...

懸賞1000P no working init found

Charlotte avatar
By Charlotte
at 2017-03-30T18:41
如題 小弟是個才剛上幾堂嵌入式系統課的超級菜鳥 最近跟著老師給個PPT一步一步做 要讓USB成為開機碟 bootloader那邊正常(背景不知道為什麼換圖片會變全黑) 然後要打開作業系統的時候跑出以下圖 http://i.imgur.com/ai9w9fE.png 不知道是為什麼 拜託各位大大能 ...

抓不到SDIO網卡

Regina avatar
By Regina
at 2017-03-30T11:53
我嘗試在ACER Switch 10e SW3-016上面安裝Ubuntu 16.04 但是內建無線網卡不會動,USB外接可以用,但是這樣就很不方便 網卡的是BCM43241,是SDIO的介面 https://wireless.wiki.kernel.org/en/users/drivers/brcm8 ...

軟體raid10開機問題

Tracy avatar
By Tracy
at 2017-03-30T05:18
現在我在Intel Server上要安裝ubuntu 16.04 LTS。 花了點時間,發現grub並不支援使用軟體raid開機。 目前手上有四顆硬碟,個別都分割了boot,root,home,跟swap。 其中只有一顆硬碟mount的boot空間mount到/boot, 其他三顆的boot空間都暫時是unm ...

播放音樂沒聲音的問題

Mia avatar
By Mia
at 2017-03-29T11:59
Ubuntu 14.4 console 模式。 播放任何音樂(mp3,mplayer;midi,timidity)都沒有聲音,請問需要檢查哪裡? 前一天都正常,今天開機就這樣。確定硬體沒問題,因為有測試過開機片。 麻煩指教,感激不盡! - ...