隨著AI技術(shù)向視頻生產(chǎn)、傳輸和消費(fèi)環(huán)節(jié)的滲透，AI技術(shù)在視頻分析中的應(yīng)用逐漸常態(tài)化，智能視頻編碼技術(shù)的發(fā)展路徑將會(huì)決定未來智能視頻的趨勢(shì)變革。

為了更好地認(rèn)識(shí)智能編碼，促進(jìn)智能視頻編碼產(chǎn)業(yè)發(fā)展和生態(tài)建設(shè)，涌現(xiàn)科技聯(lián)合艾瑞咨詢，在2023第六屆中國信息技術(shù)應(yīng)用創(chuàng)新大會(huì)智能視頻編碼行業(yè)專題論壇上共同發(fā)布了2023年《中國智能視頻編碼行業(yè)白皮書》，就智能視頻編碼行業(yè)的標(biāo)準(zhǔn)發(fā)展、產(chǎn)業(yè)動(dòng)態(tài)、市場情況進(jìn)行深入介紹，希望為智能視頻編碼行業(yè)的發(fā)展提供有益的思路和建議。

以下為2023《中國智能視頻編碼行業(yè)白皮書》內(nèi)容節(jié)選，關(guān)注“涌現(xiàn)科技”公眾號(hào)并回復(fù)“智能視頻編碼”聯(lián)系我們，可獲取高清完整版報(bào)告。

智能視頻編碼行業(yè)的發(fā)展演進(jìn)和概念界定

視頻產(chǎn)業(yè)活躍發(fā)展，催生對(duì)視頻編碼技術(shù)迭代的迫切需要

多視角全景視頻使得視頻編碼技術(shù)趨于復(fù)雜多元

視頻技術(shù)演進(jìn)出現(xiàn)多路和全景視頻，視頻的角度和覆蓋范圍不斷擴(kuò)展。多路視頻是多路攝像頭對(duì)應(yīng)多個(gè)視頻畫面，每個(gè)攝像頭安裝廣角鏡頭，形成多個(gè)大于90度的廣角畫面，而全景視頻則是廣角鏡頭和多路視頻拼接系統(tǒng)技術(shù)的延伸，實(shí)時(shí)獲取周圍360°視場畫面的全景成像系統(tǒng)正逐漸成為視頻領(lǐng)域的研究熱點(diǎn)。多路視頻拼接系統(tǒng)技術(shù)是從多個(gè)攝像頭采集視頻，在遠(yuǎn)端進(jìn)行拼接，從而獲得遠(yuǎn)程、高質(zhì)量、大場景的沉浸式畫面。全景視頻應(yīng)用場景涉及VR視頻、機(jī)器人、全景地圖、國防工業(yè)等領(lǐng)域。

全景視頻的實(shí)現(xiàn)即多路視頻拼接系統(tǒng)對(duì)于算法要求很高。在視頻圖像拼接過程當(dāng)中，圖像處理計(jì)算數(shù)據(jù)量龐大，需要短時(shí)間內(nèi)完成對(duì)圖像的拼接并且保證多路視頻流的時(shí)間一致性，對(duì)于視頻編碼技術(shù)要求趨于多元化和復(fù)雜化。新型視頻應(yīng)用場景需求的不斷增加催生了超高清視頻和多視頻范圍的需求。

新型應(yīng)用場景涌現(xiàn)，在娛樂、辦公、工業(yè)、安防等領(lǐng)域擴(kuò)展深化

隨著5G和AI技術(shù)的發(fā)展，視頻行業(yè)商業(yè)模式重構(gòu)，新型視頻應(yīng)用場景應(yīng)時(shí)而生，廣泛應(yīng)用于人們的生產(chǎn)、生活之中。視頻應(yīng)用不再局限于娛樂場景，而是向工業(yè)制造、安防領(lǐng)域、生產(chǎn)辦公等場景拓展。在娛樂應(yīng)用場景中，短視頻、云游戲等作為軟件應(yīng)用在人們手機(jī)、平板等終端設(shè)備中隨處可見；受過去幾年疫情的影響，遠(yuǎn)程辦公成為強(qiáng)需求，云桌面和遠(yuǎn)程會(huì)議等作為新型視頻應(yīng)用是遠(yuǎn)程辦公的重要模式；在工業(yè)、安防等領(lǐng)域，機(jī)器視覺和視頻監(jiān)控對(duì)視頻形式提出了新的要求。未來隨著產(chǎn)業(yè)整合泛化和元宇宙布局趨勢(shì)加強(qiáng)，廣電超高清、VR/AR等場景持續(xù)涌現(xiàn)，人們需求和視頻類型將會(huì)更趨多元。

視頻編碼標(biāo)準(zhǔn)框架未脫離傳統(tǒng)統(tǒng)計(jì)學(xué)范疇，亟需革新

近四十年來，盡管上述視頻壓縮標(biāo)準(zhǔn)持續(xù)迭代、編碼效率穩(wěn)步提升，但仍未脫離劃分、預(yù)測、變換、量化、熵編碼的技術(shù)框架。以H.26x為例，每一代新的視頻編碼標(biāo)準(zhǔn)都比上一代標(biāo)準(zhǔn)的編碼效率提升近一倍，節(jié)省了約40%-50%的碼率，但與此同時(shí)編碼的復(fù)雜度卻是幾倍的增加。在現(xiàn)有的標(biāo)準(zhǔn)體系下，算力成本的“邊際收益”加速遞減，基于統(tǒng)計(jì)學(xué)原理的傳統(tǒng)視頻編碼標(biāo)準(zhǔn)已經(jīng)逼近了技術(shù)上限，當(dāng)前的視頻壓縮技術(shù)難以滿足下游視頻應(yīng)用的快速增長，亟需引入新技術(shù)以激活視頻編碼這一視頻產(chǎn)業(yè)鏈價(jià)值裂變的關(guān)鍵環(huán)節(jié)，充分釋放產(chǎn)業(yè)勢(shì)能，為智能視頻產(chǎn)業(yè)提供底層支持。

智能視頻的發(fā)展需要高性能編碼器的推動(dòng)，應(yīng)用于智能視頻的編碼器需具備更高的編碼效率與分辨率，更多編碼模式的選擇與更加靈活的技術(shù)架構(gòu)，便于與AI應(yīng)用結(jié)合，賦能智能分析，服務(wù)于涵蓋虛擬現(xiàn)實(shí)、游戲、數(shù)字生產(chǎn)視頻等豐富場景。智能視頻端的編碼需求同步催生了智能視頻編碼技術(shù)的升級(jí)迭代，助力行業(yè)整體發(fā)展。

人工智能賦能視頻編碼，端到端的智能視頻重構(gòu)是未來演進(jìn)方向

智能視頻編碼同時(shí)面向人眼視覺和機(jī)器視覺，運(yùn)用神經(jīng)網(wǎng)絡(luò)等人工智能技術(shù)，一方面執(zhí)行信號(hào)壓縮任務(wù)，對(duì)編碼場景、參數(shù)、模式選擇等信息進(jìn)行面向應(yīng)用場景和內(nèi)容特征的分析，利用AI技術(shù)對(duì)去噪聲、圖像增強(qiáng)、細(xì)節(jié)改善等環(huán)節(jié)進(jìn)行預(yù)處理，基于最佳模式的配置與編碼，實(shí)現(xiàn)精準(zhǔn)化編碼控制，提高壓縮效率，即“AI for Coding”；另一方面在編碼過程中兼顧后續(xù)的智能分析過程，通過特征分析、特征提取，按照智能分析需求進(jìn)行特征編碼，優(yōu)化解碼應(yīng)用端的智能分析過程，減少解碼端重復(fù)調(diào)用AI進(jìn)行特征提取分析和處理的重復(fù)過程，為后續(xù)針對(duì)性重構(gòu)視頻場景、執(zhí)行智能分析任務(wù)奠定基礎(chǔ)，即“Coding for AI”。智能視頻編碼打破了傳統(tǒng)編碼模式下壓縮編碼與智能分析相割裂的“1+1”分布式模式，整合了編碼、重組、解碼及智能應(yīng)用等視頻鏈環(huán)節(jié)，實(shí)現(xiàn)從視頻編碼到重構(gòu)分析的一體化智構(gòu)編碼。

中國智能視頻編碼行業(yè)的發(fā)展現(xiàn)狀

中國智能視頻編碼行業(yè)的市場規(guī)模

智能視頻編碼整體市場規(guī)模包括軟件服務(wù)和硬件設(shè)備兩部分。根據(jù)艾瑞咨詢測算，2021年中國智能視頻編碼整體市場規(guī)模為237億元。2020年得益于超高清視頻的推廣與落地應(yīng)用和疫情催化下云視頻會(huì)議和在線教育的快速滲透，消費(fèi)端和產(chǎn)業(yè)側(cè)的生活?yuàn)蕵贰⒐ぷ鹘涣骷娂姀木€下轉(zhuǎn)向線上，使得2020年智能視頻編碼市場增速達(dá)64.5%。2021年起智能視頻編碼市場恢復(fù)平穩(wěn)較快發(fā)展，隨著智能編碼技術(shù)的場景滲透和云游戲、VR/AR等下游新興市場的增量起勢(shì)，市場規(guī)模加速提升，預(yù)計(jì)2025年智能視頻編碼市場規(guī)模有望突破600億元。

中國智能視頻編碼產(chǎn)業(yè)鏈及競爭格局分析

中國智能視頻編碼產(chǎn)業(yè)鏈主要由核心硬件與編碼標(biāo)準(zhǔn)、智能視頻編碼解決方案與細(xì)分場景應(yīng)用三個(gè)部分構(gòu)成。

（1）云計(jì)算、通信服務(wù)及CDN服務(wù)作為基礎(chǔ)支持貫穿整個(gè)智能視頻編碼產(chǎn)業(yè)。

（2）智能視頻編碼產(chǎn)業(yè)鏈的上游由編碼標(biāo)準(zhǔn)與核心硬件構(gòu)成。

（3）多領(lǐng)域細(xì)分場景是智能視頻編碼產(chǎn)業(yè)鏈的終端環(huán)節(jié)。

（4）智能視頻編碼解決方案是產(chǎn)業(yè)鏈的核心環(huán)節(jié)。

中國智能視頻編碼應(yīng)用場景分析

互聯(lián)網(wǎng)視頻場景

近二十年，隨著底層基礎(chǔ)設(shè)施和技術(shù)體系的日趨成熟，互聯(lián)網(wǎng)視頻蓬勃發(fā)展，逐漸成為了人們獲取信息、交流娛樂的重要方式。相比單純的文字、圖片或音頻，視頻以更加直觀的方式聚合多維度的信息，能夠帶來更強(qiáng)的沉浸式體驗(yàn)和交互性。根據(jù)CNNIC第50次《中國互聯(lián)網(wǎng)絡(luò)發(fā)展?fàn)顩r統(tǒng)計(jì)報(bào)告》數(shù)據(jù)，截至2022年6月網(wǎng)絡(luò)視頻用戶規(guī)模為9.95億，占網(wǎng)民整體的比例高達(dá)94.6%。隨著視頻類應(yīng)用使用體驗(yàn)的大幅優(yōu)化，其消費(fèi)時(shí)長占移動(dòng)互聯(lián)網(wǎng)應(yīng)用的比例呈現(xiàn)上升態(tài)勢(shì)，這為視頻編碼創(chuàng)造了巨大的市場空間。2025年中國互聯(lián)網(wǎng)視頻編碼市場規(guī)模將達(dá)270億元，相比2019年的爆發(fā)性增長，互聯(lián)網(wǎng)視頻行業(yè)發(fā)展趨穩(wěn)，年增長率穩(wěn)定在25%的水平。

互聯(lián)網(wǎng)視頻根據(jù)服務(wù)類型主要分為點(diǎn)播、直播和互動(dòng)直播三類。轉(zhuǎn)碼是點(diǎn)播服務(wù)的核心技術(shù)，可伸縮編碼技術(shù)在互聯(lián)網(wǎng)視頻轉(zhuǎn)碼這一環(huán)節(jié)得到了廣泛應(yīng)用，具體是指事先將內(nèi)容提供方上傳的視頻在云端解碼再編碼，轉(zhuǎn)換為標(biāo)準(zhǔn)格式并云端存儲(chǔ)，根據(jù)用戶實(shí)際帶寬情況和播放終端自動(dòng)、靈活地匹配分發(fā)不同碼率的視頻文件，在多碼流場景下提供最佳解碼畫質(zhì)的解決方案，即兼顧清晰度和流暢度的最優(yōu)觀看體驗(yàn)。可伸縮編碼技術(shù)也稱為分層編碼，可通過AI編碼工具實(shí)現(xiàn)并具有魯棒性。直播與點(diǎn)播相比具有實(shí)時(shí)性和突發(fā)性特征，對(duì)時(shí)延和首屏?xí)r間等指標(biāo)更為敏感，對(duì)高并發(fā)和弱網(wǎng)環(huán)境下的穩(wěn)定性也有著更高的要求。與常見的單向一對(duì)多直播不同，互動(dòng)直播支持用戶的雙向交流。這種雙向交流一方面對(duì)延時(shí)的容忍度極低，另一方面因?yàn)樯婕岸嗦芬曨l流，帶寬壓力和編解碼壓力成倍增加。

廣電超高清視頻場景

5G、大數(shù)據(jù)、云計(jì)算、物聯(lián)網(wǎng)、區(qū)塊鏈、人工智能等技術(shù)推動(dòng)廣播電視發(fā)展從標(biāo)清到高清、超高清，從功能業(yè)務(wù)型到智能服務(wù)型，從被動(dòng)接收到主動(dòng)交互迭代發(fā)展。4K/8K大型直播作為超高清視頻的典型應(yīng)用場景之一，對(duì)全流程制播設(shè)備和視頻編碼技術(shù)的編碼效率和時(shí)延提出了更高要求。超高清直播與5G技術(shù)已經(jīng)成為標(biāo)配，基于5G網(wǎng)絡(luò)傳輸下的轉(zhuǎn)直播應(yīng)用不斷拓展。

超高清視頻廣播產(chǎn)業(yè)的高速發(fā)展，驅(qū)動(dòng)以視頻為核心的行業(yè)智能化轉(zhuǎn)型，產(chǎn)業(yè)生態(tài)體系逐步完善，超高清視頻智能編碼市場容量日趨增長。艾瑞咨詢預(yù)測2025年智能視頻編碼在廣電超高清領(lǐng)域的市場規(guī)模有望突破30億，未來增速將保持在35%以上。

8K VR技術(shù)和360度視角拍攝將成為未來高清轉(zhuǎn)播的重要技術(shù)手段。以北京2022年冬殘奧會(huì)的殘奧冰球項(xiàng)目為例，運(yùn)用8K VR及自由視角的拍攝制作技術(shù)，展示了接近360度旋轉(zhuǎn)的“自由視點(diǎn)”。通過場內(nèi)布置的60臺(tái)攝像機(jī)最佳機(jī)位形成真實(shí)視點(diǎn)，并在每兩個(gè)真實(shí)視點(diǎn)之間插入30個(gè)“虛擬視點(diǎn)”畫面，將虛擬視點(diǎn)和真實(shí)視點(diǎn)進(jìn)行融合拼接，向觀眾呈現(xiàn)出如時(shí)間靜止般、平滑的精彩回放鏡頭。體育賽事超高清360度新興轉(zhuǎn)播技術(shù)從現(xiàn)場、云服務(wù)器、5G網(wǎng)絡(luò)再到終端實(shí)現(xiàn)8K VR比賽信號(hào)直播，提升賽事觀賞性和臨場感。360度多路視角拍攝需要實(shí)現(xiàn)對(duì)現(xiàn)場攝像機(jī)的視頻內(nèi)容進(jìn)行AI圖像穩(wěn)定處理和時(shí)間同步處理，將多路視頻的時(shí)間軸保持幀級(jí)同步，并處理成自由視角視頻流。當(dāng)需求上升到上百路4K級(jí)超高清視頻時(shí)，傳統(tǒng)的軟編或者GPU編碼方式將帶來成本的指數(shù)級(jí)上升。亟需能夠集成多路接口進(jìn)行高清數(shù)字接口視頻輸入和對(duì)360度超高清影像進(jìn)行專用處理的芯片，與智能視頻編碼技術(shù)結(jié)合，保障超高清廣播視頻的高效傳輸。

虛擬終端場景

高效的視頻編碼標(biāo)準(zhǔn)和編碼器碼率控制模塊是虛擬終端平臺(tái)的核心需求。虛擬終端市場發(fā)展處于產(chǎn)業(yè)起步階段，雖然初具規(guī)模，但市場較為分散，虛擬終端作為智能視頻編碼技術(shù)的新型應(yīng)用場景，市場規(guī)模的增長幅度和增長空間較大，艾瑞咨詢預(yù)計(jì)，2025年云游戲、云桌面和云手機(jī)市場下智能視頻編碼的市場規(guī)模將突破50億元，增長率保持在20%以上。

在云游戲傳統(tǒng)GPU編碼方案中，圖形渲染和視頻流編碼都在GPU中進(jìn)行，通常GPU在進(jìn)行視頻圖形渲染時(shí)，視頻編碼能力會(huì)有所下降，并且GPU的編碼性能相比專用轉(zhuǎn)碼芯片存在一定差距。針對(duì)此短板的智能視頻編碼解決方案將GPU與專用轉(zhuǎn)碼芯片結(jié)合，補(bǔ)充專項(xiàng)編碼能力，釋放CPU和GPU資源，并且支持直接從GPU圖像存儲(chǔ)中獲取編碼數(shù)據(jù)，免去HOST層延時(shí)，增強(qiáng)圖片渲染能力的同時(shí)達(dá)到每幀編碼超低耗時(shí)的目的。

城市安防場景

交通、公安、司法是面向政府端安防領(lǐng)域的核心組成部分，其中交通、公安細(xì)分場景，對(duì)于視頻監(jiān)控的依賴程度較高，VCM/DCM及AI輔助編碼技術(shù)在視頻監(jiān)控的傳輸與展示效果中可以發(fā)揮更大價(jià)值。視頻監(jiān)控在司法領(lǐng)域承擔(dān)的主要任務(wù)是庭審監(jiān)測，監(jiān)控視頻體量與視頻質(zhì)量要求均遠(yuǎn)低于在公安、交通領(lǐng)域的應(yīng)用，現(xiàn)階段對(duì)助力視頻分析的VCM/DCM及相關(guān)AI編碼技術(shù)不存在強(qiáng)烈需求。安防市場的“馬太效應(yīng)”明顯，海康威視、大華股份、宇視科技、華為等龍頭企業(yè)在業(yè)內(nèi)占據(jù)絕對(duì)比重。2021年智能視頻編碼在安防交通領(lǐng)域的市場規(guī)模約22億元，伴隨疫情逐漸好轉(zhuǎn)大背景下整體安防市場的回暖，智能技術(shù)與視頻監(jiān)控場景的適配結(jié)合，智能視頻編碼標(biāo)準(zhǔn)的改進(jìn)完善，艾瑞咨詢預(yù)測2025年智能視頻編碼在安防交通領(lǐng)域的市場規(guī)模有望突破30億。

工業(yè)制造場景

機(jī)器視覺是視頻編碼技術(shù)與制造業(yè)緊密連接的核心技術(shù)載體，作為人工智能技術(shù)中快速發(fā)展的一個(gè)分支，自上世紀(jì)80年代，機(jī)器視覺已逐步在多個(gè)領(lǐng)域成功替代人眼視覺進(jìn)行識(shí)別、檢索、分析、判斷等應(yīng)用。2015年出臺(tái)的《中國制造2025》強(qiáng)國戰(zhàn)略行動(dòng)綱領(lǐng)，明確了制造業(yè)智能升級(jí)任務(wù)的重要性與緊迫性，推動(dòng)了企業(yè)在研發(fā)、生產(chǎn)、管理、服務(wù)等方面的智能化改進(jìn)。機(jī)器視覺系統(tǒng)是綜合光學(xué)、機(jī)械、電子、計(jì)算機(jī)軟硬件等多維度能力的技術(shù)，依托圖像處理、模式識(shí)別、信號(hào)處理、人工智能等技術(shù)在工業(yè)制造領(lǐng)域替代人眼執(zhí)行工作。相較于人眼視覺，機(jī)器視覺在分辨率、速度、精度等方面具備絕對(duì)優(yōu)勢(shì)。作為機(jī)器視覺系統(tǒng)的前端數(shù)據(jù)采集設(shè)備，工業(yè)相機(jī)的品質(zhì)優(yōu)劣、相機(jī)幀率壓縮效果的高低將直接決定機(jī)器視覺編碼圖像視頻的呈現(xiàn)質(zhì)量。

中國智能視頻編碼行業(yè)引領(lǐng)者動(dòng)態(tài)

標(biāo)準(zhǔn)組織機(jī)構(gòu)

“Coding for AI”是VCM與DCM技術(shù)方案的核心理念，即通過特征提取與特征編碼，從視頻生產(chǎn)環(huán)節(jié)降低數(shù)據(jù)傳輸與計(jì)算負(fù)載，保留價(jià)值信息，適配后續(xù)機(jī)器視覺智能分析。基于神經(jīng)網(wǎng)絡(luò)構(gòu)建機(jī)器視覺模型，便于模型迭代與模塊調(diào)用，優(yōu)化編碼測試結(jié)構(gòu)，平衡編碼復(fù)雜度與傳輸時(shí)延，讓視頻采集數(shù)據(jù)精準(zhǔn)服務(wù)于最終分析任務(wù)。VCM與DCM編碼標(biāo)準(zhǔn)均處于探索階段，在下一代標(biāo)準(zhǔn)正式公布之前，面向機(jī)器視覺分析的需求仍主要依賴成熟性高，具備成本優(yōu)勢(shì)的傳統(tǒng)編碼器實(shí)現(xiàn)。

伴隨服務(wù)于機(jī)器視覺的視頻編碼技術(shù)日趨完善，編碼標(biāo)準(zhǔn)的發(fā)力方向?qū)⑾虻诙A段面向人機(jī)混合視覺的視頻編碼技術(shù)傾斜，即同一碼流同時(shí)滿足人眼視覺對(duì)視頻質(zhì)量的要求，并兼顧機(jī)器視覺需求。未來視頻行業(yè)需滿足泛化要求，前置應(yīng)用場景，視頻生產(chǎn)根據(jù)實(shí)際需求進(jìn)行編碼，適配所有類型的視覺任務(wù)，因此對(duì)結(jié)合AI算法并服務(wù)于各種應(yīng)用場景的智能編碼技術(shù)的研究成為趨勢(shì)。