專訪春田先生關於Sony 960fps感光元件 - 手機討論

其實此專訪三週前在ISSCC就進行了，但因個人私事，一直到今天才有機會整理

首先探討一下具有瞬間960fps錄影能力的感光元件(原文:A 1/2.3inch 20Mpixel 3-Layer Stacked CMOS Image
Sensor with DRAM,發表於ISSCC 2017)

960fps的部分並不是影片重頭到尾都維持在960fps，而是平常維持在30fps，

然後在使用者觸發的狀況下，瞬間進入960fps，如下圖(原圖出處：ISSCC Dig.)
http://imgur.com/a/fXReA

擷取到的畫面會儲存在與感光元件相疊的DRAM當中，而當資料都被讀取之後

相機又可以進入960fps的錄影。


媒體報導主要把焦點放在"960fps"這點上，

但那只是採用此堆疊架構的附加價值，而非該感光元件的最大特點。

該感光元件在維持以往背照式BSI元件的厚度下，堆疊了含四個200MHz的通道的DRAM，

如下圖(原圖出處：ISSCC Dig.)
http://imgur.com/a/T3Q4S

所以在錄影的時候，每一個frame可以全部暫存在DRAM中，再逐一讀取到外部。

相較之下，

傳統的感光元件因為沒有記憶體，所以每一個frame是由上而下一列一列的，

讀取到外部的數位電路。

這意味著，當一個物體快速的平行移動時，

畫面中物體的上端會先被讀出來，然後依序讀到下端，

使得物體上端出現的位置其實比畫面下端來的早，這個現象我們稱之為"果凍效應"。

採用具有堆疊DRAM的感光元件可以避免"果凍效應"，對於影片的品質大幅的提升，

如下圖(擷取自春田先生的投影片)
http://imgur.com/a/2fPxT


在簡略討論了"A 1/2.3inch 20Mpixel 3-Layer Stacked CMOS Image Sensor with DRAM"

再來談談我向春田先生請益智慧型手機感光元件的部分：


首先我請問春田先生，在hTC、iPhone先後推出具有雙感光元件、雙鏡頭的手機之後，

逐漸有更多廠商研發與推出雙鏡頭的手機。

在設計雙鏡頭的手機的感光元件時，與設計單鏡頭手機感光元件的部分相比有何異同？

春田先生表示，目前在感光元件設計時，並不會特別去考量之後是否會採用雙鏡頭架構，

而大部分的整合都倚賴軟體上的處理。


不過最近華為最近的P9手機，卻出現了一個新的技術挑戰：

P9也是兩個感光元件的手機，其中一個感光元件採用Bayer RGB的架構，

換句話說感光元件上必需放上紅、綠、藍的濾鏡，導致部分的光線遭到阻隔。

另一個感光元件沒有放置RGB濾鏡，因此所有的可見光都會被感光元件所捕捉，

軟體將此感光元件捕捉的黑白畫面，透過Bayer RGB感光元件捕捉到的色彩資訊上色。

這樣的設計可以讓拍攝出來的照片高ISO的訊雜比大幅的提升，讓低光畫質明顯進步。

但問題來了：由於這個感光元件沒有濾鏡，因此在低光的狀況下更加的敏感，

他所捕捉到的資訊，很有可能另外一個採Bayer RGB的感光元件沒有捕捉到，

所以軟體不知道到底要為該畫素上紅、藍、綠！

此挑戰也是未來手機採用雙鏡頭、雙感光元件有可能會遇到的問題之一。


我也與春田先生討論RED Helium 8K與三晶片架構，但與本板關聯性低，

所以恕不附上其討論。


既然提到了錄影，我也順道提起了關於S7/Note7感光元件畫素選擇的問題。

當時S7在發表的時候，演講者提到降低畫素是為了低光表現，

然而，背照式感光元件的低光表現其實並不會因為畫素的密度提高而降低。
(有興趣可以參考https://youtu.be/_KYvp8PrCFc )

S7/Note7感光元件採用1200萬畫素的主要原因應該是為了錄影時，

直接去除原本4:3畫面上下的部分，讓比例變成16:9時，解析度剛好等於4K的解析度

避免畫素整併(pixel binning)，使得處理器的功率消耗可以大幅降低。

我詢問春田先生在感光元件的設計上，

是否會因為符合錄影的需求去妥協感光原件的畫素多寡？

春田先生表示至少Xperia的手機並不會採取這樣的策略。

三星試圖說服自己的客戶1200萬畫素就足夠了，但Sony並不這麼認同這樣的做法。

至於採用高畫素感光元件錄製4K影片要採取什麼做法(畫素整併或畫素省略或裁切)

到現在沒有定論，所以目前一直在評估當中。


最後，春田先生"預告"在很近的將來，就會看到更大的感光元件出現在智慧型手機上，

喜歡用手機拍照的朋友們可以密切期待！

--