Meta最新公布的connect大會流程里，有什么是短期就能有希望實際體驗到的項目，以及聊聊這兩天Meta的Reality Lab開發測試全身追蹤的研究視頻。
第一個要說的就是，Meta有關人員會向大家展示手勢追蹤2.1的新功能，以及如何使用Meta的Interaction SDK來構建像之前那個官方應用，First Hand一樣的手勢追蹤體驗，目前Quest2已經支持手勢追蹤2.0，相信這個2.1的版本也會很快向用戶呈現出來，不過看版本命名，應該不會像之前1.0到2.0那樣有大的提升。
同時根據Meta開發者中心官網在22號公布的文章，手勢追蹤2.0將擴大到對第一代Meta Quest機型的支持，而且宣布將在2023年4月徹底廢棄1.0API，所有應用程序，在今年12月開始默認為使用2.0，需要已經使用手勢追蹤的開發者注意跟進。
從小編個人實際體驗角度來說，目前Quest2非游戲場景，小編百分之九十時間都是使用手勢追蹤，小編覺得完全夠用。真正要改的反而是交互方式，就是能不能做一個專屬于手勢追蹤的菜單UI和交互，實現在裸手的時候就自動切換過去，拋棄利用射線進行選擇的邏輯。
尤其是在輸入鍵盤這些場景，實際上用手柄射線在那個鋪開的，巨型的鍵盤里一個個點字母也是很費力的。明明現有支持手勢追蹤的游戲，都知道應該讓玩家直接用手像觸摸機關一樣，跟虛擬的菜單面板進行觸控，在系統菜單層怎么就想不到呢？
第二個就是Meta將發布他們第一個沉浸式的WebXR應用體驗，并成為學習案例讓webXR開發者能夠吸取經驗，同時他們也會帶來Meta Quest VR瀏覽器的新進展，包括介紹給PWA開發者的新功能，和相關的一些即將進入商店的最新應用。
老實說，在這之前小編完全沒想到，在VR系統里有需要PWA漸進式網頁應用的存在，大家可以理解為就是網頁版的小程序，比如你在手機里，用谷歌瀏覽器看網頁微博，然后把網頁保存到桌面屏幕出現的微博Lite，這個就是PWA版微博。
后來小編想了一下，其實在Quest2里的instagram的程序是有點像的，你打開之后就完全是網頁版instagram的頁面排版，并沒有說是專門為在VR里使用，做了個適配。有可能Meta在這一塊，是為了提升2D平面應用的多任務處理功能，比如有沒有可能將來，discord，流媒體或者播客網站都做一個這種輕便的小程序來使用。
至于VR瀏覽器，上次看到的大新聞還是火狐VR瀏覽器的關閉，很開心能看到Meta能在webXR這一塊一般用戶不太會去體驗的地方，也依然在貢獻自己的一份力量。但是這個所謂他們的官方webXR應用小編第一反應就是會不會是Horizon Wordls網頁版？畢竟之前Meta的CTO Boz在推特上說，未來計劃推出Horizon Worlds的Web版，這個web版可能在VR瀏覽器里是沉浸式的，在手機或者電腦上的web端也能訪問，但只是傳統平面的。
所以第三個要說的就是Meta正打算把Horizon Worlds，和他們自家的UGC創作平臺Crayta打通，在這次connect大會里，總共有三個流程內容分享都是圍繞此主題展開，比如兩個平臺開發者互相的經驗分享，以及討論如何將虛擬形象連通使用，但又不會互相影響。這是個野心勃勃的想法，但小編很懷疑Meta的實際進展能有多少讓人期待的。時至今日，Horizon Worlds依然沒有敞開所有的大門，面向全球的用戶，還時不時的要被各種嘲諷，相比之下，小編還不如期待那個傳聞中的Roblox VR版的誕生呢。
接下來要分享的就是這兩天曝光率很高的Meta黑科技，就是在不使用額外的追蹤器或者攝像頭的基礎上，單單利用現有Quest2頭顯本體和兩個手柄的運動數據來實現，常規性姿態下的全身追蹤效果。
除了現在大家看到的這個視頻畫面還有配套的論文發表，小編覺得咱們在理解之前，可以好好看看論文的題目，簡單的翻譯過來就是：使用模擬化的虛擬化身和稀疏的傳感器進行人體運動跟蹤，但是通常以前的動捕小編們應該是這樣形容的，使用某種方式或設備捕捉人體運動跟蹤的數據，從而獲取高精度同步的虛擬化身，你會意識到這一次的實驗邏輯它是反著來的。
這就是大家看到都感覺不可思議的原因，因為它確實不是大家之前認知的那種動作捕捉，更準確的說法應該是叫動作模仿，而且還是由虛擬形象來模仿匹配現實的動作。
Meta研究認為利用這個QuestSim AI框架，通過頭顯和手柄的位置和方向的信息，來估計用戶的全身姿態是合理的，而且畫面是72幀錄制的。這個框架能夠區分各種運動模式、轉彎之類的轉換，以及能夠跟蹤上半身和下半身關聯性較小的運動，比如在白板上寫字、走路或是慢跑。
在論文里有簡單提到，在板上寫字時，當系統注意到頭部的垂直位置逐漸開始下降，就是暗示著用戶是蹲著的，而且必須是彎曲膝關節，除此以外，手柄和頭部之間幾乎沒有任何關聯。而在行走的過程中，手柄會在水平方向上擺動，尤其是相對于頭部位置會有明顯擺動，而與行走相反，在慢跑時，VR頭顯的頭部對比水平方向，反而顯示出非常獨特和高頻率的豎直方向的振蕩，所以就是通過這種運動位置數據的差異的強化學習來推測出不同的姿態。
而且視頻里的虛擬化身是有物理模擬的，他們的姿態會受到與虛擬環境中的地面、物體碰撞的影響。比如地面對跟蹤姿勢的調整可以彌補傳感器數據的缺失，并使人物與虛擬世界融合。同理遇到一個虛擬的物體，慢跑中的虛擬化身就有可能有被絆倒的危險。
看上去很美好但目前離小編們所期望的動捕效果肯定還很遙遠，他們提到目前無法應付，急停這種加速度快速變化的狀態，而且演示里也看不到細節到，在關節方向扭轉動作變化的模擬，更重要的是META的CTO在今年2月份說過，用現有的頭顯，使用內向外的追蹤方式，實現下半身追蹤是不可行的，但是他們有在考慮，給虛擬化身配備一個虛擬腿，但是這個虛擬的腿，用戶第一人稱又是看不到，只有其它用戶能看得到。
其實小編們把QuestSim AI 的研究方向和這個虛擬腿的需求，一聯系起來就完全合理了，首先就是VR玩家第一人稱，看到跟現實不匹配四肢動作會感到不適，所以第一人稱依然沒腿是合理的，實際上第一人稱的時候，也不會有人經常看自己的下半身，其次QuestSim AI 能模擬出相應的姿態動作，但是不需要跟真實匹配，就是對方用戶蹲下了，只需要有半蹲，全蹲，單腿蹲幾個預設固定的姿態來匹配就行了，并不要完全的把現實的精準動作映射到VR里。
至于真正的全身動捕，等Meta想通了，愿意在頭顯底下加攝像頭估計就成了，畢竟他們的AI沒攝像頭都這么牛皮了，當然他們的虛擬化身沒有腿不是他們做不出來，而是不希望像其它VR游戲里那樣，一些虛擬形象到最后動起來都是個奇行種，在不能保證完全合理的姿態且具有的統一美觀性下，還不如不要腿了。這算是屬于他們自己的偏執，當然你可以說是一種保守。
