結(jié)合國內(nèi)外產(chǎn)業(yè)發(fā)展情況和本市研發(fā)基礎(chǔ),聚焦沉浸式技術(shù)、Web3技術(shù)兩大主攻方向,在沉浸影音、沉浸計算、新型顯示、感知交互與區(qū)塊鏈等關(guān)鍵技術(shù)領(lǐng)域打造新高地。
近日,上海市科學技術(shù)委員會發(fā)布關(guān)于印發(fā)《上海市“元宇宙”關(guān)鍵技術(shù)攻關(guān)行動方案(2023—2025年)》的通知。
《行動方案》提出,針對“元宇宙”沉浸式、開放式、永續(xù)實時、以人為中心等跨界復合的技術(shù)特性,圍繞“元宇宙”內(nèi)容、存算、傳輸和終端等技術(shù)層面,結(jié)合國內(nèi)外產(chǎn)業(yè)發(fā)展情況和本市研發(fā)基礎(chǔ),聚焦沉浸式技術(shù)、Web3技術(shù)兩大主攻方向,在沉浸影音、沉浸計算、新型顯示、感知交互與區(qū)塊鏈等關(guān)鍵技術(shù)領(lǐng)域打造新高地。
此外,關(guān)于開展沉浸影音技術(shù)布局,《行動方案》指出,面向“元宇宙”海量沉浸影音內(nèi)容生產(chǎn)的需求,基于AI賦能虛實融合的技術(shù)路線,重點布局人工智能生成內(nèi)容(AIGC)、跨尺度采集重建、數(shù)字人生成與驅(qū)動、虛擬空間三維引擎等關(guān)鍵技術(shù)研發(fā),實現(xiàn)超寫實“元宇宙”沉浸影音內(nèi)容的自動化、低成本生產(chǎn),支撐“元宇宙”內(nèi)容創(chuàng)作生態(tài)建設(shè)。
上海市“元宇宙”
關(guān)鍵技術(shù)攻關(guān)行動方案
(2023-2025年)
“元宇宙”是未來虛擬世界與現(xiàn)實社會相交互的重要平臺。為貫徹落實《上海市建設(shè)具有全球影響力的科技創(chuàng)新中心“十四五”規(guī)劃》和《上海市培育“元宇宙”新賽道行動方案(2022-2025年)》,加快推動“元宇宙”領(lǐng)域關(guān)鍵技術(shù)攻關(guān)突破,特制定本行動方案。
一、總體思路和目標
以習近平新時代中國特色社會主義思想為指導,全面貫徹黨的二十大精神,落實市委、市政府有關(guān)“元宇宙”的決策部署,堅持使命導向、策源驅(qū)動、重點突破、賦能發(fā)展,以沉浸式技術(shù)與Web3技術(shù)為兩大主攻方向,以自主創(chuàng)新和開放協(xié)同為推進路徑,著力提升“元宇宙”領(lǐng)域科技自立自強能力。到2025年,前沿優(yōu)勢領(lǐng)域相關(guān)科學問題研究取得重要突破,原始性創(chuàng)新成果持續(xù)涌現(xiàn);聚焦技術(shù)優(yōu)勢和必爭領(lǐng)域掌握一批關(guān)鍵技術(shù),底層技術(shù)支撐能力持續(xù)提升;以重點場景需求為牽引,加快“元宇宙”技術(shù)體系化突破;科技成果轉(zhuǎn)化和產(chǎn)業(yè)化水平不斷提高,形成具有國際競爭力的“元宇宙”創(chuàng)新集群,保障創(chuàng)新鏈、產(chǎn)業(yè)鏈、供應(yīng)鏈安全和韌性,為加快建設(shè)具有全球影響力的科技創(chuàng)新中心提供有力支撐。
——原創(chuàng)性引領(lǐng)性科技攻關(guān)取得重要進展。人工智能生成內(nèi)容(AIGC)、空間計算、智能編碼、高性能低功耗微顯示、多模傳感、Web3網(wǎng)絡(luò)操作系統(tǒng)、跨尺度采集重建、腦機接口等戰(zhàn)略前沿與關(guān)鍵技術(shù)不斷取得新突破,圍繞智能終端、內(nèi)容制作、云平臺等形成30項以上具有重要影響力的核心技術(shù)與產(chǎn)品,推進“元宇宙”創(chuàng)新鏈、產(chǎn)業(yè)鏈、價值鏈向高端邁進。
——先進應(yīng)用技術(shù)體系加快構(gòu)建。形成一批技術(shù)創(chuàng)新和服務(wù)平臺,有效推進協(xié)同創(chuàng)新和成果轉(zhuǎn)化。面向城市經(jīng)濟、生活、治理的數(shù)字化轉(zhuǎn)型等重要應(yīng)用需求,打造高水平關(guān)鍵技術(shù)試驗驗證場景,形成全鏈條技術(shù)供給能力,構(gòu)建具有全球競爭力的“元宇宙”技術(shù)體系。
——“元宇宙”創(chuàng)新生態(tài)不斷完善。高質(zhì)量孵化器、投融資服務(wù)、高水平研發(fā)機構(gòu)、科技型骨干企業(yè)、創(chuàng)新團隊等要素集聚,“元宇宙”監(jiān)管技術(shù)和治理水準不斷提升,開放包容、充滿活力、健康有序的創(chuàng)新生態(tài)加速形成。
二、主攻方向
針對“元宇宙”沉浸式、開放式、永續(xù)實時、以人為中心等跨界復合的技術(shù)特性,圍繞“元宇宙”內(nèi)容、存算、傳輸和終端等技術(shù)層面,結(jié)合國內(nèi)外產(chǎn)業(yè)發(fā)展情況和本市研發(fā)基礎(chǔ),聚焦沉浸式技術(shù)、Web3技術(shù)兩大主攻方向,在沉浸影音、沉浸計算、新型顯示、感知交互與區(qū)塊鏈等關(guān)鍵技術(shù)領(lǐng)域打造新高地。
主攻方向一:沉浸式技術(shù)
圍繞沉浸影音和沉浸計算領(lǐng)域,重點布局人工智能生成內(nèi)容(AIGC)、跨尺度采集重建、空間計算、智能編碼等關(guān)鍵技術(shù)攻關(guān),降低場景構(gòu)建成本、提升“元宇宙”內(nèi)容制作靈活度,并在引擎技術(shù)等方面取得新進展。圍繞新型顯示和感知交互領(lǐng)域,重點布局近眼顯示、多模傳感等技術(shù)和終端設(shè)備研發(fā),帶動本市芯片、零部件與算法技術(shù)研發(fā)應(yīng)用,深化內(nèi)容與硬件聯(lián)動,搶占“元宇宙”關(guān)鍵入口。
主攻方向二:Web3技術(shù)
面向“元宇宙”去中心化/多中心化的組織規(guī)則,圍繞區(qū)塊鏈領(lǐng)域,重點布局Web3網(wǎng)絡(luò)操作系統(tǒng)等技術(shù)研發(fā),構(gòu)建高性能、可擴展和安全可控的新型區(qū)塊鏈體系架構(gòu),為“元宇宙”應(yīng)用提供中立、可信的信息處理平臺。
三、開展沉浸影音技術(shù)布局
面向“元宇宙”海量沉浸影音內(nèi)容生產(chǎn)的需求,基于AI賦能虛實融合的技術(shù)路線,重點布局人工智能生成內(nèi)容(AIGC)、跨尺度采集重建、數(shù)字人生成與驅(qū)動、虛擬空間三維引擎等關(guān)鍵技術(shù)研發(fā),實現(xiàn)超寫實“元宇宙”沉浸影音內(nèi)容的自動化、低成本生產(chǎn),支撐“元宇宙”內(nèi)容創(chuàng)作生態(tài)建設(shè)。
(一)人工智能生成內(nèi)容(AIGC)技術(shù)
研究人工智能通用生成模型、多模態(tài)協(xié)同生成、內(nèi)容可控生成等技術(shù),構(gòu)建低成本、高效率的沉浸影音內(nèi)容生成體系,實現(xiàn)敏感生成信息可控和可識別。到2025年,實現(xiàn)文本、圖像、音樂、視頻和三維模型等多模態(tài)內(nèi)容間的關(guān)聯(lián)對齊與互生成,實現(xiàn)多模態(tài)沉浸影音內(nèi)容的高逼真、高效率和可控生成,實現(xiàn)內(nèi)容智能生成過程中的敏感信息規(guī)避能力。
(二)跨尺度采集重建技術(shù)
研究跨尺度多傳感器融合采集、大尺度和高動態(tài)的神經(jīng)輻射場建模生成等技術(shù),形成自主可控的跨尺度采集重建技術(shù)體系。到2025年,構(gòu)建包括激光雷達、光場陣列、梯度光陣列等多模態(tài)協(xié)同采集系統(tǒng);形成城市(大)、室內(nèi)(中)、靜態(tài)物體(。┑榷喑叨葓鼍暗母呔取⒎昼娂壗D芰,生成新視角的圖像分辨率、渲染速度和圖像精度等核心指標達到國際領(lǐng)先水平。
(三)數(shù)字人生成與驅(qū)動技術(shù)
研究人臉、表情與動作的高逼真重構(gòu)、自動綁定、實時驅(qū)動等技術(shù),建設(shè)光學動作捕捉相機系統(tǒng),集表情、動作、語音一體化的數(shù)字人智能生成系統(tǒng)。到2025年,形成人體和剛體運動的高精度定位與智能分析系統(tǒng),定位追蹤精度達到國際領(lǐng)先水平;實現(xiàn)虛擬人高精度建模與綁定,重建精度達到亞毫米級,支持智能綁定,表情基數(shù)量與面部4D數(shù)據(jù)采集速度均達到國際領(lǐng)先水平;形成人工智能驅(qū)動能力,支持基于文字、音頻、視頻等多模態(tài)的表情和動作驅(qū)動。
(四)虛擬空間三維引擎技術(shù)
研究跨平臺、端云協(xié)同架構(gòu),突破多線程同異步加載均衡、多線程粒子計算、多核CPU資源調(diào)度等技術(shù),實現(xiàn)低成本、低帶寬設(shè)備上的高頻數(shù)據(jù)渲染。到2025年,渲染效率和功耗等指標位于國內(nèi)先進水平。
四、加快沉浸計算技術(shù)研發(fā)突破
圍繞“元宇宙”虛實融合的沉浸體驗技術(shù)要求,基于端云協(xié)同的沉浸式計算技術(shù)路線,重點布局空間計算、智能編碼、分布式渲染分發(fā)等關(guān)鍵技術(shù)研發(fā),提升“元宇宙”內(nèi)容計算和分發(fā)效率。
(一)空間計算技術(shù)
研究毫米級視覺定位服務(wù)、高性能同步定位與地圖創(chuàng)建(SLAM)、多場景大規(guī)模用戶實時交互等技術(shù),推動“元宇宙”數(shù)字交互信息與現(xiàn)實環(huán)境的無縫實時嵌入,提升虛實融合數(shù)字空間運營服務(wù)能力。到2025年,實現(xiàn)各類室內(nèi)外場景下的高精度定位,百平米級小場景定位精度達到毫米級,十萬平米級大場景定位精度達到厘米級。
(二)智能編碼技術(shù)
研究高效結(jié)構(gòu)表達三維空間不規(guī)則網(wǎng)格數(shù)據(jù)、多源媒體同步關(guān)聯(lián)和網(wǎng)元協(xié)同處理、存算網(wǎng)一體處理芯片等技術(shù),形成6自由度(6DoF)數(shù)據(jù)高效壓縮編碼方法、跨網(wǎng)同步封裝協(xié)議和全新媒體處理器結(jié)構(gòu)。研究基于人工智能輔助的視覺視頻特征編碼和沉浸式視頻壓縮編碼技術(shù),構(gòu)建虛實融合的新型編解碼模型。到2025年,在重建幾何質(zhì)量峰值信噪比(PSNR)70dB、屬性質(zhì)量40dB條件下,密集6DoF點云達到250倍壓縮率,實現(xiàn)跨網(wǎng)分發(fā)精準同步。
(三)分布式渲染分發(fā)技術(shù)
研究面向云原生的渲染優(yōu)化技術(shù)、云端渲染內(nèi)容的音視頻數(shù)據(jù)高實時高質(zhì)量調(diào)度算法。到2025年,算力基礎(chǔ)設(shè)施滿足“元宇宙”沉浸式應(yīng)用需求,實現(xiàn)可彈性擴展、支持混合渲染的云原生系統(tǒng),4K高清媒體流推送時延和交互時延進一步降低;提供多層級服務(wù),顯著提升異構(gòu)業(yè)務(wù)下的服務(wù)可靠性和資源利用率。
五、開展新型顯示關(guān)鍵技術(shù)布局
面向“元宇宙”內(nèi)容呈現(xiàn)方面的高清晰、深度沉浸等發(fā)展趨勢和需求,重點布局高性能低功耗微顯示器件、高亮度輕量化光學模組、全息和光場顯示等關(guān)鍵技術(shù)攻關(guān),搶占“元宇宙”關(guān)鍵入口高地,推動近眼顯示、裸眼全息等新型顯示產(chǎn)業(yè)高質(zhì)量發(fā)展。
(一)高性能低功耗微顯示技術(shù)
研究數(shù)字驅(qū)動和注視點渲染、感顯算一體化集成系統(tǒng)架構(gòu)、像素結(jié)構(gòu)設(shè)計等技術(shù)。到2025年,硅基OLED顯示模組及自主驅(qū)動芯片、硅基Micro-LED顯示模組和自主驅(qū)動芯片、Fast-LCD顯示器件達到國際先進水平,高亮度、廣色域、低功耗的微顯示單目分辨率達到4K以上。
(二)高亮度輕量化光學模組
研究面向近眼顯示的幾何光波導技術(shù),突破針對消費級光學玻璃的分子鍵合工藝,研發(fā)二維擴瞳幾何光波導鏡片及其顯示模組,推進消費級幾何光波導鏡片及其顯示模組的量產(chǎn)化。到2025年,視場角、鏡目距、眼動范圍、入眼亮度、透光率、光學畸變等指標達到國際領(lǐng)先水平,支撐小型化輕量級產(chǎn)品實現(xiàn)量產(chǎn)。
(三)全息和光場顯示技術(shù)
研究大角度高信息量全息3D光波調(diào)制、超精密微納制造、光場實時渲染、全息圖大數(shù)據(jù)實時生成算法等技術(shù),研制全息3D波前調(diào)制器件、3D視頻處理芯片和光場裸眼3D顯示模組,實現(xiàn)高沉浸感全息顯示和大視角多視點光場顯示。到2025年,光場裸眼3D光學器件貼合精度達到亞微米級,視場角、視覺分辨率、顯示幀率、全息圖像的空間帶寬積和散斑噪聲對比度、光場顯示的視點數(shù)等指標達到國際先進水平。
六、加強感知交互技術(shù)突破
面向“元宇宙”自然交互中長時間、高響應(yīng)與多樣性的需求,重點布局低功耗交互算法、多模傳感、手勢與眼動追蹤、腦機接口等關(guān)鍵軟硬件技術(shù)研發(fā),實現(xiàn)自然環(huán)境下的視覺、聽覺、觸覺、體態(tài)等多模態(tài)信息感知交互。
(一)多模傳感技術(shù)
研究微型距離傳感、深度視覺傳感、低功耗壓電聲學/柔性纖維/織物皮膚/高精度微機電慣性等狀態(tài)傳感和輕量級交互算法等技術(shù),助推國產(chǎn)芯片、國產(chǎn)零部件在終端應(yīng)用。到2025年,微距計算、注視點渲染、多模式無盲區(qū)人機交互、傳感密度、壓強分辨率、零偏精度等關(guān)鍵技術(shù)指標達到國際先進水平,支撐距離、視覺、聲音、壓力和慣性等高性能低功耗傳感器量產(chǎn)。
(二)手勢與眼動追蹤技術(shù)
研究高性能、低功耗、高魯棒性的手勢與眼動追蹤等技術(shù),助推“元宇宙”人機交互向自然化、情景化與智能化方向演進。到2025年,識別類型數(shù)量、追蹤延時、手指追蹤精度與眼動追蹤精度等關(guān)鍵技術(shù)指標達到國際先進水平,實現(xiàn)高精度、多種類、低延遲的手勢識別和眼動追蹤。
(三)腦機接口技術(shù)
開展多學科交叉的理論和技術(shù)研究,構(gòu)建面向“元宇宙”的虛實融合腦機接口體系,研究腦機接口神經(jīng)界面、神經(jīng)融合芯片、柔性電極、神經(jīng)信號編碼與解碼技術(shù)等前沿技術(shù),研發(fā)面向“元宇宙”的新型超低功耗腦機交互硬件系統(tǒng)和原型產(chǎn)品。
七、開展區(qū)塊鏈技術(shù)研發(fā)布局
面向“元宇宙”去中心化/多中心化的組織規(guī)則,基于異構(gòu)多鏈融合技術(shù)路線,重點布局Web3網(wǎng)絡(luò)操作系統(tǒng)、區(qū)塊鏈數(shù)字身份、分布式可信存儲、可信計算芯片等支撐技術(shù)和數(shù)字監(jiān)管技術(shù)研發(fā),構(gòu)建高性能、可擴展和安全可控的新型區(qū)塊鏈體系架構(gòu),形成承載大規(guī)模“元宇宙”創(chuàng)新應(yīng)用的基礎(chǔ)設(shè)施。
(一)Web3網(wǎng)絡(luò)操作系統(tǒng)
研究區(qū)塊鏈系統(tǒng)抽象、資源管理與調(diào)度模型,突破底層區(qū)塊鏈系統(tǒng)的適配與封裝、鏈上數(shù)據(jù)資源解析與定位、跨鏈互操作等技術(shù),完善區(qū)塊鏈數(shù)據(jù)標準、系統(tǒng)應(yīng)用接口標準和跨鏈互操作標準,形成跨區(qū)塊鏈系統(tǒng)的Web3網(wǎng)絡(luò)操作系統(tǒng)。研發(fā)適配多種異構(gòu)底層區(qū)塊鏈系統(tǒng)(包括主流公有鏈和聯(lián)盟鏈)的應(yīng)用開發(fā)中間件和工具鏈,支持通過統(tǒng)一接口實現(xiàn)底層異構(gòu)區(qū)塊鏈系統(tǒng)訪問、數(shù)字身份內(nèi)容管理、跨鏈應(yīng)用數(shù)據(jù)遷移等功能。
(二)數(shù)字身份管理技術(shù)
研究自主可控低成本區(qū)塊鏈數(shù)字身份SIM卡芯片、身份認證和權(quán)限管理、虛實身份映射綁定等技術(shù),開發(fā)安全便捷的區(qū)塊鏈數(shù)字身份管理終端,支持國密算法(SM系列)等主流密碼算法、新型的抗量子/門限/可聚合數(shù)字簽名算法、BIP32/44等賬戶派生協(xié)議,以硬件安全技術(shù)保護私鑰生成、存儲、數(shù)字簽名的安全性。支持區(qū)塊鏈賬戶的實名認證,構(gòu)建“元宇宙”數(shù)字身份與現(xiàn)實世界身份綁定的數(shù)字身份體系。
(三)分布式可信存儲技術(shù)
研究區(qū)塊鏈動態(tài)數(shù)據(jù)分片存儲等技術(shù),支持通過智能合約訪問數(shù)據(jù)、鏈上高效驗證數(shù)據(jù)有效性,單鏈系統(tǒng)存儲空間可隨共識節(jié)點數(shù)量線性擴展。
(四)可信計算芯片技術(shù)
突破可信執(zhí)行環(huán)境、密碼學算法(零知識證明、同態(tài)加密等)加速芯片等軟硬件關(guān)鍵技術(shù),開發(fā)自主可控的可信計算芯片,計算性能和效率達到國際先進水平。
八、加快創(chuàng)新平臺和場景建設(shè)
圍繞“元宇宙”技術(shù)創(chuàng)新、試驗驗證和生態(tài)構(gòu)建,建設(shè)一批技術(shù)創(chuàng)新和服務(wù)平臺,打造關(guān)鍵技術(shù)試驗驗證場景,加快國產(chǎn)技術(shù)創(chuàng)新和應(yīng)用,促進“元宇宙”企業(yè)培育和集聚發(fā)展。
(一)技術(shù)創(chuàng)新支撐平臺
依托第三方機構(gòu)、行業(yè)龍頭企業(yè)、高校科研院所,打造“元宇宙”關(guān)鍵技術(shù)創(chuàng)新平臺和創(chuàng)新公共服務(wù)平臺,持續(xù)優(yōu)化“元宇宙”技術(shù)突破、應(yīng)用創(chuàng)新和產(chǎn)業(yè)發(fā)展支撐環(huán)境。建設(shè)“元宇宙”可信技術(shù)監(jiān)管支撐平臺,支撐相關(guān)監(jiān)管政策研究和治理體系建設(shè)。
(二)技術(shù)試驗驗證場景
依托本市資源優(yōu)勢及特色,面向城市經(jīng)濟、生活、治理的數(shù)字化轉(zhuǎn)型等重要應(yīng)用需求,鼓勵本市“元宇宙”技術(shù)創(chuàng)新企業(yè)與行業(yè)應(yīng)用需求方協(xié)同發(fā)展,打造文化旅游、工業(yè)制造等高水平技術(shù)試驗驗證場景,支持技術(shù)實驗驗證與優(yōu)化迭代,推動形成一批具有競爭力的解決方案,加快提升城市治理能力現(xiàn)代化水平。
九、保障措施
(一)加強組織領(lǐng)導
組建“元宇宙”關(guān)鍵技術(shù)攻關(guān)工作小組,加強頂層設(shè)計和統(tǒng)籌協(xié)調(diào),市區(qū)聯(lián)動,確保重點任務(wù)落實。建立專家組,持續(xù)深入跟蹤國內(nèi)外動態(tài),組織開展技術(shù)交流,分析研判戰(zhàn)略趨勢,有效支撐戰(zhàn)略決策。
(二)實施有組織科研攻關(guān)
面向重大前沿科學問題,探索政府長周期科研支持方式,鼓勵社會力量投入,進一步激發(fā)基礎(chǔ)研究活力。面向重大場景應(yīng)用需求,強化企業(yè)創(chuàng)新主體地位,打造創(chuàng)新聯(lián)合體,開展重大關(guān)鍵技術(shù)、重大戰(zhàn)略產(chǎn)品、重大試驗驗證研究。探索“揭榜掛帥”、里程碑管理、賽馬制等機制,加快創(chuàng)新成果的應(yīng)用。
(三)完善創(chuàng)業(yè)孵化和金融服務(wù)
鼓勵園區(qū)、高質(zhì)量孵化器為“元宇宙”企業(yè)提供高水平技術(shù)篩選、知識產(chǎn)權(quán)運營、創(chuàng)新鏈及產(chǎn)業(yè)鏈資源鏈接等服務(wù),暢通“發(fā)現(xiàn)-轉(zhuǎn)化-孵化-產(chǎn)業(yè)化”鏈條。加強投孵聯(lián)動,撬動和引導“耐心資本”流向“元宇宙”高質(zhì)量科技成果、種子期、初創(chuàng)期以及高成長科技企業(yè)。加大科技金融產(chǎn)品供給,引導銀行、保險、擔保等金融機構(gòu)加大與高質(zhì)量孵化器的合作力度,圍繞“元宇宙”“早、小、硬”企業(yè)創(chuàng)新金融產(chǎn)品和服務(wù),促進一批創(chuàng)新企業(yè)登陸科創(chuàng)板。
(四)強化人才引育
立足全球視野,用好本市人才支持措施,引聚一批“元宇宙”人才。引導高校、科研院所、企業(yè)等加大青年“元宇宙”人才培養(yǎng)力度,支持青年人才挑大梁、當主角。支持符合條件的本市高校聚焦重點產(chǎn)業(yè)領(lǐng)域自主設(shè)置相關(guān)二級學科或交叉學科,構(gòu)建行業(yè)企業(yè)與高校共同參與、覆蓋專業(yè)碩士與專業(yè)博士的人才培養(yǎng)模式,培養(yǎng)緊缺急需人才。