人人書

雜誌

保存到桌面 | 簡體人人書 | 手機版
傳記回憶文學理論偵探推理驚悚懸疑詩歌戲曲雜文隨筆小故事書評雜誌
人人書 > 雜誌 > 聚力維度:VR的産學研樣本

聚力維度:VR的産學研樣本

時間:2024-10-28 07:28:04

“科研的目的是要滿足現實的需求,不能總是關在實驗室裡,要去市場摸爬滾打。”——聚力維度創始人趙天奇

文|《小康》記者洪治

把手機裝在VR(虛拟現實)頭盔上,将設備帶在頭上,眼前就出現了360度環狀影院,随着視線的移動,模拟焦點落到其中一塊熒幕上,點擊側面的确認鈕,手機裡的照片或視頻就能近距離地出現在眼前。

在被稱為“VR元年”的2016年,這樣的場景已不足為奇,但多為2D的顯示效果,離身臨其境還有很大距離,照片、視頻如此,遊戲亦是如此,這正是VR發展所遇到的瓶頸之一。如何破解?趙天奇和他的聚力維度或許可以給出一些線索。

VR是最佳的3D觀影模式

在北京聚力維度科技有限公司(下文簡稱“聚力維度”)的實驗室,《小康》記者在VR頭盔中看到了一張一百多年前的日俄戰争照片,與普通照片不同,這張照片是以3D方式呈現的,加上VR近距離的感官,照片桌子上的一根蠟燭仿佛唾手可得。

随着虛拟焦點的确認,畫風一轉,變成了一隻喘氣的小狗,起初它朝左邊看,突然轉過頭撲向了記者,記者下意識舉起了雙手,沒想卻撲了個空。“這隻小狗蹦過來的時候,我們資深的設計師也吓了一跳。”聚力維度創始人兼CTO(首席技術官)趙天奇笑道。

3DVR甚至還進入了直播領域。畫風又是一轉,記者出現在2016年上海國際電影節的紅毯邊,佟大為正帶着他的萌寶在向觀衆招手,距離最近時他的手似乎也能摸到。“VR頭盔是觀看3D視頻的天然方式,即便用360度的2D顯示方式也很難突顯出VR的特性。”趙天奇強調,“當天我們就用這種3D的方式讓很多用戶參與了上海國際電影節。”

既然3D顯示與VR頭盔有如此高的契合度,為何市面上的産品卻不多呢?趙天奇的解釋是,并非是硬件技術不過關,而是由于3D視頻拍攝的難度大、範圍窄、成本高而導緻的内容缺乏,這直接影響了用戶體驗。

“很多平台提供的VR素材就幾百部,遠不及傳統影視幾十乃至上百萬的規模,有3D360度環繞的更是少之又少,因此有些平台就通過設計家庭影院背景皮膚來彌補。”VR資深玩家郭飛說道,“此外,3D視頻的數據量大,如果想體驗高畫質,網速跟不上,體驗就又打折扣了。”

盡管如此,市場對VR卻有着非常高的預期。根據中國電子信息産業發展研究院旗下賽迪智庫在9月7日發布的《虛拟現實産業與應用發展白皮書》稱,2015年中國VR行業市場規模為15.4億元人民币,預測2016年将達到56.5億元人民币。

在如此利好形勢下,關鍵是盡可能多地增加觀衆與VR的黏合度,因此,相較于硬件設備,VR内容被國内企業寄予厚望,其中3D顯示是重要組成部分,這也是聚力維度的主攻方向。“這些年來我們都專注做一件事,即用人工智能的方式實現2D轉3D。”趙天奇補充道,“你之前在VR頭盔中看到的畫面都是用這種方式實現的。”

深度學習的“黑匣子”

其實,趙天奇最早想做的就是人工智能領域,然而,當深入了解當時的發展動态後,他發現人工智能延續的是腦科學純生物的研究路線,短時間内很難應用于實際生産中,而他最想做的是能把科研成果快速應用于産業中,滿足人類發展的需求。因此,他把注意力轉到了人類獲取信息的最主要方式——視覺成像。2008年,他選擇了全息圖像作為其研究生主攻方向。

很快,他就發現全息圖像雖然能把真實目光還原,但并不如3D顯示的效果,在經過一番斟酌後,他把方向定為了3D顯示與3D處理。“這個領域還有一點吸引我的是它的活躍度,古人說‘眼見為實’,隻要能把真東西拿出來給大家看,大家就服,發展非常快。”趙天奇笑道。

2009年電影《阿凡達》的火爆讓全球影迷感受到了3D成像的魅力,這給了趙天奇極大的鼓舞,觸動了他内心的一根弦。“我做科研的目的是要滿足現實的需求,不能總是關在實驗室裡,要去市場摸爬滾打。”趙天奇回憶道,“3D技術包括顯示、傳輸、處理、交互,是一個巨大的産業。”同年,他創立了自己的工作室,次年成立了公司。

進入市場後,趙天奇發現一方面由于3D顯示是新興技術,很多鏡頭拍攝不了,另一方面,已有的2D拍攝産業鍊已經非常成熟,攝影師、調色師、剪輯師等各環節的角色轉換需要很長時間,再加上成本高、投入大,導緻市場上70、80%的3D顯示都是由2D轉換而來的。

“不同于人臉識别,3D顯示要求對每個畫面的每個像素值都要給出答案,就是對全圖的反饋。”趙天奇強調,傳統的2D轉3D技術主要分為4步,即圖像分割、深度繪制、補圖以及合成,如果每一道工序都是人工操作,那合在一起的人工成本将非常高,如果讓其自動完成,哪怕僅僅是一道工序,也能大大降低成本。

于是,趙天奇帶領他的團隊開始絞盡腦汁研發相關技術,2011年,他們發現補圖這一步可以通過圖像技術自動完成,随着這項技術的攻克,他們也注冊了自主知識産權。

機會是留給有準備的人,當年正好有一部動畫片《鄭和魔海尋蹤》需要大量的補圖,他們就帶着自己的技術參與投标。當時,一同競争的還有日本白組動畫制作公司,白組公司為了進入中國市場,它的報價甚至比本國還要低。然而,由于他們主要依靠人工進行補圖,最終的報價依然比趙天奇團隊報價高很多。再加之本土的優勢,趙天奇團隊順利拿下了标的。

一時的成功更促使趙天奇他們砥砺前行,“我們的基因決定我們要不斷研發,核心競争力不能受制于人。”趙天奇強調,“既然我們能寫代碼,就要走自己的路,不能讓我們天馬行空的想法被條條框框給束縛住。”随後,他們将更多力量投入到了研發上。

自動補圖僅僅解決了一個環節的問題,還有三個環節怎麼辦?其實第一步的圖像分割是最耗人工的,而且立體程度越高意味着分割越細。“我們也找過很多圖像方面的技術,但都是看起來很美,卻解決不了生産力的問題。”趙天奇皺眉道,比如一片樹葉,在實驗室裡用前沿技術很容易實現景深分割,而且效果非常炫麗,但關鍵問題是影視作品内容的無規律性可能讓整部電影都沒有一片樹葉。“這樣的例子還有很多,這是傳統圖形圖像學的一個死門。”趙天奇苦笑道,“還不如一個讓人工操作不需等待的實時顯示算法實用。”

難道就沒有自動轉換的方法了嗎?彼時,趙天奇回憶起了2008年的一篇論文,文章通過統計的方法,在數學建模上已經實現了圖像的自動轉換。然而,當他把這篇文章翻出來應用于實踐時,對于某一個小類别圖像成像确實3d效果很好,但當圖像元素過多,這種基于概率的方式再次進入了死門。

到處碰壁并沒有讓他們喪失信心,他們想到了最初的興趣點:人工智能。“深度學習”的概念随之進入了視野。早在2006年,有關深度學習的論文就已經發表,但到2009年才逐漸形成了影響力,2012年深度學習在計算機圖像處理競賽中的應用更讓其備受關注。“深度學習底層算法的趨勢就是為了解決未知的、沒有設定好的元素,這不正好破了那道死門嗎?”趙天奇興奮地說道。

如同發現獵物的獵人,趙天奇帶領他的團隊立即着手對深度學習進行跟進學習和研發,經過一年多時間,終于在2014年底實現了第一張全圖的自動轉換。2015年初,第一個有生産價值的模型研發成功,他們親切地稱它為“機器立體設計師”,并将其命名為“峥嵘一号”。“峥嵘一号”第一次的視頻轉制測試大大超出了他們的預期,但在細節部分還滿足不了消費者的要求。于是,聚力維度進一步深挖,2015年年終,“峥嵘一号”最終成型。

“深度學習就像一個黑匣子,我們也不知道最終會出現什麼效果。”趙天奇說道。有一次,“峥嵘一号”在轉換圖像時,在一幀畫面中突然蹦出一個人影,技術人員都認為這是計算錯誤,因為在原畫面中并沒有看到這個人,後來通過調高對比度才發現,原來他藏在原畫中的陰影裡。

“深度學習的效果大家有目共睹,目前已經達到了準商業的門檻。”趙天奇笑道,如今,“峥嵘二号”已經誕生,“峥嵘三号”也在研發中,随着“峥嵘”系列的發展,聚力維度已完成了第一部2D轉3D的電視劇,并将投放入VR平台的内容庫中。未來,聚力維度還将進一步用深度學習技術精耕2D轉3D産業鍊。

執着VR是最佳的3D觀影模式,這些年來聚力維度隻專注做一件事,即用人工智能的方式實現2D轉3D。圖為聚力維度創始人趙天奇和他們的第一部人工智能2D轉3D電視劇《執念師》。産學研注入勃勃生機

學習創業兩不誤。在創業過程中,趙天奇還順利地拿到了北京郵電大學博士學位并進入清華大學做博士後。“别看我開公司好像不務正業,實際上,無論是在高校,還是在企業,我都是在做同一件事,技術研發。”趙天奇笑道。

如今,聚力維度依然保持着與北郵、清華以及澳大利亞阿德萊德大學等高校的緊密合作。“早在2009年我創業的時候,就寫下了一個簽名:做而不學則淺,學而不做則浮。”趙天奇回憶道。為了接地氣,趙天奇經常與産業界的同人交流挖掘用戶需求,為了掌握最前沿的技術和動态,他不斷閱讀最新的論文成果并與高校科研團隊探讨。“正是有這樣的信念讓我時刻牢記自己的核心競争力。”

清華大學自動化系戴瓊海教授帶領的團隊是聚力維度的重要合作夥伴,他們非常認可這種合作。“産學研是一種很好的高校與産業界合作的模式。”戴瓊海團隊的核心成員徐楓博士說道,“對于工程學科,研究的本質目的是為産業服務,如果長期不能與産業結合,就背離了本質目标。”

産學研的核心是對變化的快速反應,因此,聚力維度非常推崇扁平化管理,趙天奇在公司的主要辦公位就設在研發中心,他的獨立辦公室也經常處于開放狀态。“我們的競争力是高科技,現在高科技領域百花齊放,變化非常快,因此,執行力非常關鍵。”趙天奇表示,“我們會選擇扁平化的制度一直走下去。”

正是有這樣的理念和制度,在與清華大學合作的過程中,雙方基本沒有磨合期。“雙方本身就有非常好的互信基礎,就是要把清華最前沿的新媒體和人工智能技術送出象牙塔,連接最真實的需求,創造最大的價值。”徐楓說道。

随着産學研的推進,雙方都獲得了巨大的收獲,清華大學的團隊因為市場對真實場景的需求而激發出了很多靈感,釋放了更大的科研潛力,不僅實現了諸多人工智能和VR領域的科研突破,也修整了諸如圖像深度估計研究等産業前端的算法。

而這樣的碰撞也讓聚力維度産生了對VR領域獨到的理解和認知。“無論VR還是AR,從本質上講,它們都在颠覆人和世界的關系。”趙天奇分析道,“在科幻小說中,有神經元與電腦相連接通世界的橋段,這畢竟離我們太過遙遠。改變這種關系的主要路徑是修改現實世界,球幕電影、主題樂園都是如此,但成本非常高,難度非常大。相對而言,可穿戴設備則是最簡單的方式,VR就是用視覺颠覆了這種關系,這不是一個具體的行業,很可能要覆蓋所有行業。學習成本非常高,怎麼辦?用虛拟現實。去不了美國、法國,怎麼辦?戴上VR頭盔就好了。這将釋放多大的生産力?形成多大的需求?”
   

熱門書籍

熱門文章