中國(guó)消費(fèi)者報(bào)報(bào)道（記者武曉莉）“聽(tīng)眾朋友們,，你們好。從今兒個(gè)起,，由我為大家播講懸疑小說(shuō)《江湖消亡史：北平暗夜》,。這個(gè)故事發(fā)生在民國(guó)十幾年的北京城里……”著名評(píng)書(shū)表演藝術(shù)大師單田芳離開(kāi)三年后，居然又“說(shuō)”起了新評(píng)書(shū),，昔日那位僅憑一張嘴就讓人欲罷不能的說(shuō)書(shū)人,，又重新回到了我們身邊。
國(guó)慶期間,，我國(guó)首部黑白轉(zhuǎn)彩色4K修復(fù)故事片《永不消逝的電波》在全國(guó)各大電影院線上映,，人們紛紛走進(jìn)影院，欣賞舊日的黑白經(jīng)典煥發(fā)出的新光彩,。
給國(guó)慶黑白老照片上個(gè)色的“全民拍”,，讓以往國(guó)慶期間愛(ài)發(fā)養(yǎng)生貼的父母?jìng)儯衲昝χ涞构竦卣依险掌?，在網(wǎng)上給老照片修復(fù)上色,。
……
AI(人工智能)技術(shù)通過(guò)修復(fù)圖片,、影像，合成酷似本人的聲音,，撫慰了人們懷舊的心緒,，讓時(shí)光留駐、讓昨日重現(xiàn),。
回到從前 AI給記憶涂上色彩
每個(gè)人家里都可能有些因年份久遠(yuǎn)而變得斑駁,、泛黃的老照片，這些照片或許珍藏著一份難忘的記憶,，定格了一段久遠(yuǎn)的家國(guó)歷史,。在新中國(guó)成立72周年這個(gè)特殊的日子里，通過(guò)新華社客戶(hù)端“全民拍”聯(lián)合中國(guó)移動(dòng)咪咕開(kāi)啟的黑白老照片免費(fèi)上色修復(fù)通道,，能讓泛黃的記憶再次鮮活,。“大家可能還記得，給老照片上色以前都需要通過(guò)手動(dòng),。”咪咕公司相關(guān)技術(shù)人員向記者介紹道。傳統(tǒng)照相館有一個(gè)專(zhuān)門(mén)的上色服務(wù),，把黑白照片涂上顏色,，很多人家里都有這樣的著色照片。但那種上色方式與真實(shí)的色彩有不小的差距,。
AI老照片修復(fù)有何不同,？咪咕技術(shù)人員通過(guò)一張1959年9月13日第一屆全運(yùn)會(huì)開(kāi)幕式上運(yùn)動(dòng)員列隊(duì)步入會(huì)場(chǎng)的照片的修復(fù)，給記者做了一個(gè)科普,。AI神經(jīng)網(wǎng)絡(luò)修復(fù)老照片時(shí),，會(huì)先通過(guò)標(biāo)準(zhǔn)色板進(jìn)行顏色校正，糾正視頻中色相,、飽和度與真實(shí)圖像的差異,。那么，AI又是如何比對(duì)的呢?北京電影學(xué)院數(shù)字媒體學(xué)院院長(zhǎng)劉謙教授對(duì)記者說(shuō),，人工智能其實(shí)就是一種算法,，在大數(shù)據(jù)的支撐下，通過(guò)不斷的學(xué)習(xí),，普通的算法有了判斷,、決策的能力，有點(diǎn)類(lèi)似于一個(gè)人基于歷史經(jīng)驗(yàn)會(huì)進(jìn)行判斷,。AI的判斷基于大數(shù)據(jù)的積累,，由于算力很強(qiáng)，AI可以快速將圖像內(nèi)容與真實(shí)圖像進(jìn)行比對(duì),。
咪咕技術(shù)人員對(duì)記者說(shuō),，校正后AI就開(kāi)始對(duì)照片進(jìn)行區(qū)域去噪,，分為空間域、頻域,、小波域,、時(shí)域、時(shí)空域和色彩域去噪等,。機(jī)器的自動(dòng)處理完成后,，其實(shí)還需要進(jìn)行人工的二次創(chuàng)作，針對(duì)照片故事背景,、畫(huà)面氣氛等上下文,，檢索該年代或特點(diǎn)事件的特征，進(jìn)行針對(duì)局部和重點(diǎn)對(duì)象的再次渲染,。“如果沒(méi)有AI而用過(guò)去人工著色的方式,，很多東西做不了。”咪咕技術(shù)人員說(shuō),。比如圖中場(chǎng)館的看臺(tái)上有數(shù)千名觀眾,，這就必須由機(jī)器和AI進(jìn)行處理，再專(zhuān)業(yè)的人士也無(wú)法一一處理這個(gè)量級(jí)的人物,。此外,，早期全幅相機(jī)受操作水平的影響，拍攝會(huì)出現(xiàn)過(guò)度曝光,，需要再次拉回光線等,。
這位技術(shù)人員說(shuō)，AI修復(fù)過(guò)程中仍需人工介入,。比如看臺(tái)上觀眾身披紅旗等細(xì)節(jié),，再厲害的AI算法也無(wú)法感知這是一面紅色的旗幟，這就需要編輯人員進(jìn)行人工二次創(chuàng)作,。
書(shū)接上回 AI讓“原音”重出江湖
當(dāng)那個(gè)與單田芳本人聲音極其相似的AI合成音自然流暢地“說(shuō)”起評(píng)書(shū)時(shí),，單田芳已經(jīng)離開(kāi)我們整整3年了。3年前,，無(wú)數(shù)人感嘆世上再無(wú)“下回分解”,，而如今，他的“聲音”在喜馬拉雅平臺(tái)再次響起,，“書(shū)接上回”重現(xiàn)江湖,。“聽(tīng)到TTS聲音，心魂間猛然一震,，仿佛父親又回到了這個(gè)世界,。”單田芳之子單瑞林評(píng)價(jià)說(shuō)。喜馬拉雅平臺(tái)用語(yǔ)音合成 (TTS:Text-to-speech)技術(shù)完美還原了著名評(píng)書(shū)表演藝術(shù)大師單田芳的聲音,，并首次將單田芳AI合成音應(yīng)用于6部風(fēng)格各異的作品,。
資料圖片
作為國(guó)家級(jí)非物質(zhì)文化遺產(chǎn)傳承人,，單田芳的《隋唐演義》《三俠五義》《亂世梟雄》《白眉大俠》等共計(jì)超過(guò)1.2萬(wàn)余集的100余部廣播、電視評(píng)書(shū)作品,，在全國(guó)500多家電臺(tái),、電視臺(tái)都播出過(guò)，他的書(shū)迷遍布大江南北,。“單田芳聲音AI重現(xiàn)系列專(zhuān)輯”中,，除了趙晨光的《江湖消亡史：北平暗夜》、陳廷一的《毛氏三兄弟：三兄弟與共和國(guó)奠基》和紫金陳的《無(wú)證之罪》外,，真正實(shí)現(xiàn)了“書(shū)接上回”的,，是單田芳老師生前未完成的評(píng)書(shū)經(jīng)典——宮白羽的《十二金錢(qián)鏢》。
喜馬拉雅智能語(yǔ)音實(shí)驗(yàn)室的盧恒博士對(duì)記者說(shuō),，完美復(fù)現(xiàn)單田芳老師那標(biāo)志性的“云遮月”嗓音,，以及其情感充沛、起伏跌宕的腔調(diào),，得益于實(shí)驗(yàn)室語(yǔ)音合成,、識(shí)別、語(yǔ)音信號(hào)處理,、編解碼以及智能音效的研究和開(kāi)發(fā),。盧恒說(shuō)，用真實(shí)自然的TTS音色演繹有聲小說(shuō)是非常難的,，需要學(xué)習(xí)小說(shuō)中的抑揚(yáng)頓挫、情感表達(dá),、上下文關(guān)系,，區(qū)分旁白和對(duì)白，并最終將作品完美演繹出來(lái),。喜馬拉雅自主研發(fā)的TTS前端文本處理分析模塊已經(jīng)能夠高精度,、全自動(dòng)地對(duì)文本進(jìn)行多音字識(shí)別、韻律預(yù)測(cè)和風(fēng)格分類(lèi),，并已開(kāi)發(fā)出可以實(shí)現(xiàn)多情感,、多風(fēng)格、多語(yǔ)種聲音的TTS技術(shù)模型,，因此,，不僅可以演繹不同情緒的文字，還可以自動(dòng)區(qū)分旁白,、對(duì)白,，并支持英文，極大地豐富了TTS能表達(dá)的情感和韻律,。
單田芳的評(píng)書(shū)不僅韻律起伏變化非常大,，而且還有很多口語(yǔ)化發(fā)音,。比如，“這”字的普通話發(fā)音為“zhè”,，而評(píng)書(shū)中通常讀為“zhèi”,。如果僅靠當(dāng)前主流的 TTS框架模型做提取和合成，合成的評(píng)書(shū)整體感情和情緒都會(huì)很平淡,，沒(méi)有單田芳老師評(píng)書(shū)的韻味,。據(jù)盧恒介紹，智能語(yǔ)音實(shí)驗(yàn)室設(shè)計(jì)了單獨(dú)的韻律提取模塊,，不管韻律多么豐富和多變,，都能提取并完全復(fù)刻出來(lái)。
經(jīng)典煥新 AI讓“電波”永不消逝
國(guó)慶期間,，熱鬧的電影市場(chǎng)有一部很特別的老片子——《永不消逝的電波》上映,。這部影片是首部院線重映的黑白轉(zhuǎn)彩色4K修復(fù)的電影，由中央廣播電視總臺(tái)央視頻5G新媒體平臺(tái)與中國(guó)電影資料館聯(lián)合完成,。這部1958年出品的老電影,，采用擁有自主知識(shí)產(chǎn)權(quán)的人機(jī)交互式AI上色技術(shù)與傳統(tǒng)修復(fù)手法相結(jié)合的手法，經(jīng)過(guò)長(zhǎng)達(dá)7個(gè)多月,、對(duì)原片超過(guò)16萬(wàn)幀黑白影像的逐幀修復(fù)后,，終于煥發(fā)出新的活力。“無(wú)論是圖片還是影像,，放大到一定的顆粒度,，你會(huì)發(fā)現(xiàn)它們都是由一個(gè)個(gè)的光點(diǎn)組成，這個(gè)最基本的單位就叫像素,，所謂影像,，不過(guò)就是連續(xù)播放的靜止圖片而已。”劉謙說(shuō),。像素本身就有一定的亮度,、色彩和形狀，數(shù)字技術(shù)是把這些像素用RGB來(lái)表達(dá),，即任何一個(gè)光點(diǎn)都可以分解為紅,、綠、藍(lán)三種顏色,。AI通過(guò)這三個(gè)最基本的元素,，可以調(diào)出所有的色彩和形狀，乃至表達(dá)出所有的電影畫(huà)面,，這背后都是數(shù)字支撐,。電影的4K修復(fù)，就是把以前低清晰度(即像素較少)的影像，通過(guò)增加像素的方式,，變成像素點(diǎn)更多,、圖像信息更豐富的影像。色彩也可以從黑白改變成彩色,。
資料圖片
據(jù)劉謙介紹,，過(guò)去的膠片電影是化學(xué)感光的，隨著時(shí)間的推移,，容易出現(xiàn)畫(huà)面漏光,、衰減、受潮,、劃痕等各種損毀,。膠片AI修復(fù)要先掃描影片，即膠片到數(shù)字化的轉(zhuǎn)換,。但即使手工使用Photoshop等技術(shù),，也很難對(duì)所有影片全面修復(fù)，這時(shí)就需要AI,。尤其是4K修復(fù)這種對(duì)清晰度的提升,，手工根本無(wú)法想象，因?yàn)椴粌H增加的像素?cái)?shù)量是天文數(shù)字級(jí)的,，而且如何平滑過(guò)渡,、如何讓增加的像素更符合實(shí)際情況，都只有人工智能才能做到,。比如插值技術(shù),，增加像素點(diǎn)的部分怎么插入過(guò)渡色，就需要AI通過(guò)大量的學(xué)習(xí),。“比如說(shuō)在某種亮度的紅和綠之間插值,，AI可以通過(guò)對(duì)幾百萬(wàn)張大數(shù)據(jù)圖片的比對(duì)，在成千上萬(wàn)個(gè)高清圖片中找到十有八九都會(huì)碰到一起的兩個(gè)顏色,，從而得出與此種紅、綠兩個(gè)像素點(diǎn)在自然界很大概率的情況下都會(huì)相鄰的光點(diǎn),，作為可選的近似值之一,。而最終插入這兩個(gè)光點(diǎn)中間的過(guò)渡像素，其光點(diǎn)值可能用的即非紅也非藍(lán),、綠,，而是一種灰，因?yàn)槠渥钯N近自然界的真實(shí)色彩,。在這兩個(gè)光點(diǎn)之間插入一個(gè)光點(diǎn),，增加清晰度，是人工智能算法中的一種,，而這個(gè)可選的光點(diǎn)是自然人沒(méi)辦法直接拍腦袋決定的,。”
在劉謙看來(lái),，修復(fù)技術(shù)實(shí)際上并不復(fù)雜，現(xiàn)在很多修復(fù)案例只是應(yīng)景之作,。他認(rèn)為,，圖像、影像的AI修復(fù),，需要在個(gè)案中找到可以持續(xù)發(fā)展的應(yīng)用場(chǎng)景,。“老電影的修復(fù)，畢竟是修一部少一部,，而且只有真正的經(jīng)典才值得修,。”他感慨道，“一個(gè)項(xiàng)目做完,，會(huì)花很多錢(qián),，如果可以重復(fù)用于更多場(chǎng)景的話，就更好了,。”
官方微信公眾號(hào)
官方微博
