WWDC21與iPad Pro M1的故事中段 - iOS

Anthony avatar
By Anthony
at 2021-06-19T00:57

Table of Contents

一樣哈嚕鎮樓先。
https://i.imgur.com/EsteLQN.jpg

前情提要:
[討論] M1 iPad Pro講的故事前半段
https://www.ptt.cc/bbs/iOS/M.1621091454.A.576.html

[討論] 6/7 WWDC21節錄
https://www.ptt.cc/bbs/iOS/M.1623110705.A.7F3.html

========
這次接續次一篇講的前半段,結合WWDC21發表的開發者應用技術做結合。
(可以參考節錄最末段Susan出來講API那邊)

首先是『Object Capture』。
大體是利用多個2D圖片疊加擬合3D物件所需要的深度資訊,而這個API最主要投入於AR應
用開發。
那為什麼要著重於AR應用的開發?


時間需要回朔到2014~2017這段期間。

-2014 Google Tango
2014年2月透過手機上的『雙鏡頭』來獲取物件所需要的深度資訊,但是Android手機鏡頭
百家爭鳴,沒有一個統一的規格以至於Google沒辦法很好的掌握好陣營內的各個硬體設備
,最終相關研究成果大部分轉化成後來的ARCore基礎應用。

-2017 Google ARCore
吸取前一次的教訓,Google轉而利用手機上配置的『單鏡頭』,通過不斷對同一場景進行
關鍵點獲取來重建深度資訊,這動作就是Structure from Motion(運動結構重組)
但這樣退而求其次的技術也面臨一個重大問題,那就是要進行重組必定要先進行一段鏡頭
環繞物體的動作,不可能達到打開鏡頭立刻獲取資訊,必定有時間成本放在這一塊上。
此外利用這個方式查找深度資訊所佔用的手機資源非常大,手機端要運算經常性的讓手機
發燙,電量也通常無法維持很好的續航。

-2017 Apple ARKit
在2020年前,蘋果的確和Google一樣使用『單鏡頭』進行同樣的動作。
差別在於,蘋果iPhone鏡頭的硬體參數以及手機的空間位移差等資訊,蘋果自家最清楚,
可能造成的誤差範圍都有納進去算法內做校正。不過硬體配合的掌握只是讓蘋果在當年的
技術領先一小部分。

-2020 Apple LiDAR鏡頭
Light Detection and Ranging。
光學雷達的應用直接利用感測元來獲取深度資訊,簡單又粗暴。
同一時間Android陣營也有很多手機有配備ToF鏡頭,但是Google要推,但下游廠商不領情
也沒什麼用,各家鏡頭參數不一千奇百怪,只有Google自己著急算法導致大家都只玩自己
的很難配合。


你可能會說這跟Object Capture又有什麼關聯了?
不是,正因為前面有技術的積累發展,導致WWDC21蘋果直接宣布往後要面向『XR技術』近
一步發展。

========
什麼是『XR』?
Extended Reality延展實境,有區別於虛擬實境VR、擴增實境AR、混合實境MR,XR是結合
虛、實以及人體與設備實時互動的技術,XR可應用範圍極為廣泛,各項產業肯定都沾得上
邊,舉凡道路、廣告、教育、行銷、餐飲等只要你想得到的地方都可以用。

XR技術最早可以追朔到1962年的電影製作人Morton Heilig發明的Sensorama(有興趣可以
自行查找資料),其形式類似於現今電影院內的4DX電影座椅,其包括座椅、氣味,雙鏡
片全息虛擬裝置,但由於早期的應用只能『看』不能『摸』,可謂一點互動能力都沒有。

來到1968年MIT的計算機科學家Ivan Edward Sutherland所發表的『達摩克里斯之劍』
https://www.youtube.com/watch?v=Hp7YgZAHLos
笨重的設備在實驗室沈寂許久,直到後來的Oculus Rift消費及產品(還有HTC VIVE)等V
R產品上市,XR技術也多少被抬升上來。

雖然2016年間大抵還是流行VR設備(我的VIVE也頂多拿來玩Beat Saber、VR Kanojo),P
S VR更是簡單,完全只靠PlayStation Camera然後和VR頭盔建立距離資訊(雖然我只拿來
玩夏日課程)有在玩Just Dance一定會覺得XBOX上用Kinect一定比PS好很多。

不過隨即而來的是2017的挖礦潮,能做複雜運算的顯卡皆無法用原價購買(跟現在一樣QQ
),此外VR多發展在娛樂遊戲方面,在日常生活工具方面沒有任何技術發展,這就導致XR
技術發展非常困難。

========
由於篇幅有點長,後面還要講『Universal Control』才是把標題完全講清,假日再補上
下半段。

那WWDC21推這技術的意義是什麼?跟後面要講的Universal Control又有什麼關聯?
如果你沒有錯過阿婆近期的“供應商消息”至少你會聽說過阿婆要推Apple Glass。

那這兩大技術的發佈是不是又確立了幾個事實,這留給你們自己想想。

--
Tags: iOS

All Comments

Emily avatar
By Emily
at 2021-06-23T15:02
安安,哈嚕開店推
Belly avatar
By Belly
at 2021-06-25T21:41
其實tango主要是用不可見光+紅外線攝影機來認識場景的
,原理上比較接近Kinect,FaceID,LiDAR,擁有真實的環
境深度資訊;難以普及是2014年代整個模組不容易做到手
機大小,tango的工程機大概跟switch差不多大,當然And
roid的破碎話也是個很大的因素,而ARCore,ARKit單鏡頭
的實作則是以外航位推算法為主,然後用鏡頭影像的變化
矯正誤差累積
Agnes avatar
By Agnes
at 2021-06-30T01:27
ARCore,ARKit在只處理運動姿態的應用中其實是不需要掃
描識別環境的,只靠IMU就能夠還原大部分的手機運動
Ursula avatar
By Ursula
at 2021-07-02T02:10
推推!

lightning usb3的問題

Audriana avatar
By Audriana
at 2021-06-19T00:50
https://i.imgur.com/AVvAzVm.jpg 問題描述:我想問大家我買了一個這個 我想說那個孔跟耳機的孔一樣所以我USB的孔插麥克風lightning 的孔插耳機想說可以錄 歌 但插上去說裝置不支援,這樣是正常的嗎...... - ...

iOS 15 AirPods Pro 怪聲

Valerie avatar
By Valerie
at 2021-06-19T00:20
如題 想請問有人跟我一樣升級15後 AirPods Pro聽到一半會一直莫名跳出一個提示音 聲 音有點類似戴起耳機的連線提示音 但不太一樣 跳出的頻率非常之高啊… - ...

nba app無法正常執行airplay

Odelette avatar
By Odelette
at 2021-06-18T23:32
機型名稱:iPhone 12 pro andamp; Lg nano91 (請使用正確名稱勿簡稱) 系統版本:14.6 (設定→一般→關於本機→版本) 問題描述: 目前我只用airplay都是正常的,但唯獨nba league pass 沒辦法執行airplay(app 有顯示 請問有人知道這狀況是正常的 ...

如何設定捷徑:自動化執行app功能

Todd Johnson avatar
By Todd Johnson
at 2021-06-18T21:34
iPhone 12. 14.6版本 現在下班後去接小孩前都要用app的呼叫功能 https://i.imgur.com/IcM1Mam.jpg 園所希望家長能提早10分鐘執行這個功能 我從公司到園所通常也為10分鐘或更短 但常常我趕著收東西打卡離開 蠻常忘記的,有時候都快到了才按 園所之前曾提醒說這樣老 ...

iPhone 12 無法更新至 iOS 14.6

Charlotte avatar
By Charlotte
at 2021-06-18T21:28
機型名稱:iPhone 12 (請使用正確名稱勿簡稱) 系統版本:iOS 14.5 (設定→一般→關於本機→版本) 問題描述: 今天收到官網訂的 iPhone 12,打算把舊機資料透過 Mac 備份轉移過去 結果因為舊機(iPhone 7 Plus)的版本是 14.6,比新機的 14.5 還高 以致備份 ...