中國消費(fèi)者報(bào)報(bào)道（記者武曉莉）“聽眾朋友們,，你們好。從今兒個(gè)起,，由我為大家播講懸疑小說《江湖消亡史：北平暗夜》,。這個(gè)故事發(fā)生在民國十幾年的北京城里……”著名評(píng)書表演藝術(shù)大師單田芳離開三年后，居然又“說”起了新評(píng)書,，昔日那位僅憑一張嘴就讓人欲罷不能的說書人,，又重新回到了我們身邊。
國慶期間,，我國首部黑白轉(zhuǎn)彩色4K修復(fù)故事片《永不消逝的電波》在全國各大電影院線上映,，人們紛紛走進(jìn)影院，欣賞舊日的黑白經(jīng)典煥發(fā)出的新光彩,。
給國慶黑白老照片上個(gè)色的“全民拍”,，讓以往國慶期間愛發(fā)養(yǎng)生貼的父母?jìng)儯衲昝χ涞构竦卣依险掌?，在網(wǎng)上給老照片修復(fù)上色,。
……
AI(人工智能)技術(shù)通過修復(fù)圖片、影像,，合成酷似本人的聲音,，撫慰了人們懷舊的心緒，讓時(shí)光留駐,、讓昨日重現(xiàn),。
回到從前 AI給記憶涂上色彩
每個(gè)人家里都可能有些因年份久遠(yuǎn)而變得斑駁、泛黃的老照片,，這些照片或許珍藏著一份難忘的記憶,，定格了一段久遠(yuǎn)的家國歷史。在新中國成立72周年這個(gè)特殊的日子里,，通過新華社客戶端“全民拍”聯(lián)合中國移動(dòng)咪咕開啟的黑白老照片免費(fèi)上色修復(fù)通道,，能讓泛黃的記憶再次鮮活。“大家可能還記得,，給老照片上色以前都需要通過手動(dòng),。”咪咕公司相關(guān)技術(shù)人員向記者介紹道,。傳統(tǒng)照相館有一個(gè)專門的上色服務(wù),，把黑白照片涂上顏色，很多人家里都有這樣的著色照片,。但那種上色方式與真實(shí)的色彩有不小的差距。
AI老照片修復(fù)有何不同,？咪咕技術(shù)人員通過一張1959年9月13日第一屆全運(yùn)會(huì)開幕式上運(yùn)動(dòng)員列隊(duì)步入會(huì)場(chǎng)的照片的修復(fù),，給記者做了一個(gè)科普。AI神經(jīng)網(wǎng)絡(luò)修復(fù)老照片時(shí),，會(huì)先通過標(biāo)準(zhǔn)色板進(jìn)行顏色校正,，糾正視頻中色相、飽和度與真實(shí)圖像的差異,。那么,，AI又是如何比對(duì)的呢?北京電影學(xué)院數(shù)字媒體學(xué)院院長(zhǎng)劉謙教授對(duì)記者說，人工智能其實(shí)就是一種算法,，在大數(shù)據(jù)的支撐下,，通過不斷的學(xué)習(xí)，普通的算法有了判斷,、決策的能力,，有點(diǎn)類似于一個(gè)人基于歷史經(jīng)驗(yàn)會(huì)進(jìn)行判斷。AI的判斷基于大數(shù)據(jù)的積累,，由于算力很強(qiáng),，AI可以快速將圖像內(nèi)容與真實(shí)圖像進(jìn)行比對(duì)。
咪咕技術(shù)人員對(duì)記者說,，校正后AI就開始對(duì)照片進(jìn)行區(qū)域去噪,，分為空間域、頻域,、小波域,、時(shí)域、時(shí)空域和色彩域去噪等,。機(jī)器的自動(dòng)處理完成后，其實(shí)還需要進(jìn)行人工的二次創(chuàng)作,，針對(duì)照片故事背景,、畫面氣氛等上下文，檢索該年代或特點(diǎn)事件的特征,，進(jìn)行針對(duì)局部和重點(diǎn)對(duì)象的再次渲染,。“如果沒有AI而用過去人工著色的方式，很多東西做不了,。”咪咕技術(shù)人員說,。比如圖中場(chǎng)館的看臺(tái)上有數(shù)千名觀眾，這就必須由機(jī)器和AI進(jìn)行處理,，再專業(yè)的人士也無法一一處理這個(gè)量級(jí)的人物,。此外，早期全幅相機(jī)受操作水平的影響，拍攝會(huì)出現(xiàn)過度曝光,，需要再次拉回光線等,。
這位技術(shù)人員說，AI修復(fù)過程中仍需人工介入,。比如看臺(tái)上觀眾身披紅旗等細(xì)節(jié),，再厲害的AI算法也無法感知這是一面紅色的旗幟，這就需要編輯人員進(jìn)行人工二次創(chuàng)作,。
書接上回 AI讓“原音”重出江湖
當(dāng)那個(gè)與單田芳本人聲音極其相似的AI合成音自然流暢地“說”起評(píng)書時(shí),，單田芳已經(jīng)離開我們整整3年了。3年前,，無數(shù)人感嘆世上再無“下回分解”,，而如今，他的“聲音”在喜馬拉雅平臺(tái)再次響起,，“書接上回”重現(xiàn)江湖,。“聽到TTS聲音，心魂間猛然一震,，仿佛父親又回到了這個(gè)世界,。”單田芳之子單瑞林評(píng)價(jià)說。喜馬拉雅平臺(tái)用語音合成 (TTS:Text-to-speech)技術(shù)完美還原了著名評(píng)書表演藝術(shù)大師單田芳的聲音,，并首次將單田芳AI合成音應(yīng)用于6部風(fēng)格各異的作品,。
資料圖片
作為國家級(jí)非物質(zhì)文化遺產(chǎn)傳承人，單田芳的《隋唐演義》《三俠五義》《亂世梟雄》《白眉大俠》等共計(jì)超過1.2萬余集的100余部廣播,、電視評(píng)書作品,，在全國500多家電臺(tái)、電視臺(tái)都播出過,，他的書迷遍布大江南北,。“單田芳聲音AI重現(xiàn)系列專輯”中，除了趙晨光的《江湖消亡史：北平暗夜》,、陳廷一的《毛氏三兄弟：三兄弟與共和國奠基》和紫金陳的《無證之罪》外,，真正實(shí)現(xiàn)了“書接上回”的，是單田芳老師生前未完成的評(píng)書經(jīng)典——宮白羽的《十二金錢鏢》,。
喜馬拉雅智能語音實(shí)驗(yàn)室的盧恒博士對(duì)記者說,，完美復(fù)現(xiàn)單田芳老師那標(biāo)志性的“云遮月”嗓音，以及其情感充沛,、起伏跌宕的腔調(diào),，得益于實(shí)驗(yàn)室語音合成、識(shí)別,、語音信號(hào)處理,、編解碼以及智能音效的研究和開發(fā),。盧恒說，用真實(shí)自然的TTS音色演繹有聲小說是非常難的,，需要學(xué)習(xí)小說中的抑揚(yáng)頓挫,、情感表達(dá)、上下文關(guān)系,，區(qū)分旁白和對(duì)白,，并最終將作品完美演繹出來。喜馬拉雅自主研發(fā)的TTS前端文本處理分析模塊已經(jīng)能夠高精度,、全自動(dòng)地對(duì)文本進(jìn)行多音字識(shí)別,、韻律預(yù)測(cè)和風(fēng)格分類，并已開發(fā)出可以實(shí)現(xiàn)多情感,、多風(fēng)格,、多語種聲音的TTS技術(shù)模型，因此,，不僅可以演繹不同情緒的文字,，還可以自動(dòng)區(qū)分旁白、對(duì)白,，并支持英文,，極大地豐富了TTS能表達(dá)的情感和韻律。
單田芳的評(píng)書不僅韻律起伏變化非常大,，而且還有很多口語化發(fā)音,。比如，“這”字的普通話發(fā)音為“zhè”,，而評(píng)書中通常讀為“zhèi”,。如果僅靠當(dāng)前主流的 TTS框架模型做提取和合成，合成的評(píng)書整體感情和情緒都會(huì)很平淡,，沒有單田芳老師評(píng)書的韻味,。據(jù)盧恒介紹，智能語音實(shí)驗(yàn)室設(shè)計(jì)了單獨(dú)的韻律提取模塊,，不管韻律多么豐富和多變,，都能提取并完全復(fù)刻出來。
經(jīng)典煥新 AI讓“電波”永不消逝
國慶期間,，熱鬧的電影市場(chǎng)有一部很特別的老片子——《永不消逝的電波》上映。這部影片是首部院線重映的黑白轉(zhuǎn)彩色4K修復(fù)的電影,，由中央廣播電視總臺(tái)央視頻5G新媒體平臺(tái)與中國電影資料館聯(lián)合完成,。這部1958年出品的老電影，采用擁有自主知識(shí)產(chǎn)權(quán)的人機(jī)交互式AI上色技術(shù)與傳統(tǒng)修復(fù)手法相結(jié)合的手法,，經(jīng)過長(zhǎng)達(dá)7個(gè)多月,、對(duì)原片超過16萬幀黑白影像的逐幀修復(fù)后,，終于煥發(fā)出新的活力。“無論是圖片還是影像,，放大到一定的顆粒度,，你會(huì)發(fā)現(xiàn)它們都是由一個(gè)個(gè)的光點(diǎn)組成，這個(gè)最基本的單位就叫像素,，所謂影像,，不過就是連續(xù)播放的靜止圖片而已。”劉謙說,。像素本身就有一定的亮度,、色彩和形狀，數(shù)字技術(shù)是把這些像素用RGB來表達(dá),，即任何一個(gè)光點(diǎn)都可以分解為紅,、綠、藍(lán)三種顏色,。AI通過這三個(gè)最基本的元素,，可以調(diào)出所有的色彩和形狀，乃至表達(dá)出所有的電影畫面,，這背后都是數(shù)字支撐,。電影的4K修復(fù)，就是把以前低清晰度(即像素較少)的影像,，通過增加像素的方式,，變成像素點(diǎn)更多、圖像信息更豐富的影像,。色彩也可以從黑白改變成彩色,。
資料圖片
據(jù)劉謙介紹，過去的膠片電影是化學(xué)感光的,，隨著時(shí)間的推移,，容易出現(xiàn)畫面漏光、衰減,、受潮,、劃痕等各種損毀。膠片AI修復(fù)要先掃描影片,，即膠片到數(shù)字化的轉(zhuǎn)換,。但即使手工使用Photoshop等技術(shù)，也很難對(duì)所有影片全面修復(fù),，這時(shí)就需要AI,。尤其是4K修復(fù)這種對(duì)清晰度的提升，手工根本無法想象,，因?yàn)椴粌H增加的像素?cái)?shù)量是天文數(shù)字級(jí)的,，而且如何平滑過渡,、如何讓增加的像素更符合實(shí)際情況，都只有人工智能才能做到,。比如插值技術(shù),，增加像素點(diǎn)的部分怎么插入過渡色，就需要AI通過大量的學(xué)習(xí),。“比如說在某種亮度的紅和綠之間插值,，AI可以通過對(duì)幾百萬張大數(shù)據(jù)圖片的比對(duì)，在成千上萬個(gè)高清圖片中找到十有八九都會(huì)碰到一起的兩個(gè)顏色,，從而得出與此種紅,、綠兩個(gè)像素點(diǎn)在自然界很大概率的情況下都會(huì)相鄰的光點(diǎn)，作為可選的近似值之一,。而最終插入這兩個(gè)光點(diǎn)中間的過渡像素,，其光點(diǎn)值可能用的即非紅也非藍(lán)、綠,，而是一種灰,，因?yàn)槠渥钯N近自然界的真實(shí)色彩。在這兩個(gè)光點(diǎn)之間插入一個(gè)光點(diǎn),，增加清晰度,，是人工智能算法中的一種，而這個(gè)可選的光點(diǎn)是自然人沒辦法直接拍腦袋決定的,。”
在劉謙看來,，修復(fù)技術(shù)實(shí)際上并不復(fù)雜，現(xiàn)在很多修復(fù)案例只是應(yīng)景之作,。他認(rèn)為,，圖像、影像的AI修復(fù),，需要在個(gè)案中找到可以持續(xù)發(fā)展的應(yīng)用場(chǎng)景,。“老電影的修復(fù)，畢竟是修一部少一部,，而且只有真正的經(jīng)典才值得修,。”他感慨道，“一個(gè)項(xiàng)目做完,，會(huì)花很多錢,，如果可以重復(fù)用于更多場(chǎng)景的話，就更好了,。”
官方微信公眾號(hào)
官方微博
