GPU-bases SQL 資料庫 - Linux

Table of Contents

想請教有沒有人有使用GPU加速SQL速度的經驗

雖然我還沒實作,但以下是我的猜測
(Centos 7, C++, CUDA in C++, MariaDB, CPU八核心)

﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍

程式的執行是由int main開始

接著併發一千個cuda thread, parse 「mysqlcppconn」 lib給每個thread

(mysqlcppconn 是一個mysql寫給C++ lib, mariadb也可用)

每個thread單獨連接mariadb,mariadb不設thread pool,也就是one thread per connection

cuda thread 執行完query, 返回結果給int main

﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍


根據我的猜測,以下這幾點是不是正確的呢?

1. mariadb的query 執行一樣是CPU,不管是直接c++呼叫,還是從一千個cuda thread

2. 根據1, 只是一千個query在CPU一直task switch


另外,上網查GPU-based的SQL, 好像SQLite目前有支援GPU執行

https://www.cs.virginia.edu/~skadron/Papers/bakkum_sqlite_gpgpu10.pdf

http://wscg.zcu.cz/wscg2014/Short%5CK17-full.pdf

我還沒時間仔細看,但直接看結論,似乎SQLite可以真正作到

把「SQLite」包在每個cuda thread,真的是同時執行一千個sql query

而不是還要透過CPU一層

希望可以聽到有經驗的人的分享,謝謝

--

All Comments

John avatarJohn2016-08-09
query是由db那邊負責的吧,要做得應該是db那台server
有GPU,接到query的時候由GPU去加速,然後回傳給client
Kama avatarKama2016-08-13
還在自己的電腦測試,db就在同一台,cpu和GPU都有
你說的「GPU加速」有沒有詳細一點的?
Noah avatarNoah2016-08-15
query執行我不想經過CPU,不確定mariadb能否作到
Quintina avatarQuintina2016-08-17
可是你不會想在資料庫裡面算啊,io的大小也有限
Ula avatarUla2016-08-21
query執行全部都不經過CPU的設計很沒有必要,還是有一些比較
Liam avatarLiam2016-08-25
適合用CPU算,除非你整個db跑在VRAM裡面
Brianna avatarBrianna2016-08-29
那兩篇論文看起來是只能支援select的subset
Emma avatarEmma2016-09-03
有些比較困難的語法可能就不適用
如果你是要找現成的,那就各家找找看,應該會有有支援
David avatarDavid2016-09-07
GPU加速的現成DB可以用
如果你要自己寫,那就去寫吧
Selena avatarSelena2016-09-11
吃到query的時候,判斷是否夠簡單,然後從Main memory
透過PCIE丟到GPU,然後比對完再傳回結果
Lucy avatarLucy2016-09-12
就算 query 夠快, 直接用在普通資料庫大概也會卡在 disk
Gary avatarGary2016-09-16
access, 除非整個 dataset 可以 in-memory
Annie avatarAnnie2016-09-17
我總覺得你的方向好像不太對, 改找 caching 之類的方案
Kyle avatarKyle2016-09-20
似乎會更適合, 但你也沒說你到底想拿來幹什麼
Olivia avatarOlivia2016-09-24
GPU的各個thread無法完全獨立 如果條件控制太亂 效能
會非常差