· 国家档案局主管· 中国档案杂志社主办1951年创刊欢迎来到中国档案网 !2021年04月15日    星期四

学术科研

融媒体背景下电视台声像档案管理与利用的创新思考

作者:弭友海 李娜 来源:《中国档案》 发表时间:2021-04-06 分享到:

声像档案是一种特殊类型的档案,是人们保存起来的拥有重要价值的记录政治、经济、文化、教育等相关工作的图片、影像、录音等资料,它能够补充文字档案信息中缺失的直观性和形象性。在电视台档案体系之中,声像档案与电视节目相伴而生,是指电视台在新闻采访、社会调查、重大事件和重要人物报道过程中产生的具有重要价值的声像资料,经过整理后进行归档储存所形成的档案。

对电视台而言,融媒体是一种把电视与互联网优势互为整合、互为利用,使其功能、手段、价值得以全面提升的一种运作模式,其本质是互联网大数据时代传统媒体的自我革新,是在信息技术支撑下展开的媒体内容、传播路径、媒介终端的有机整合。融媒体时代,电视台节目借助网站、App、微信、短视频等新媒体渠道开展全介质跨平台的互动与传播,各类生产要素全部数字化,内容来源多元化,传播渠道多样化,节目类型异构化,产生了海量音视频资源需要归档,这些资源不仅要能够满足电视台准确快速查询交换的需求,还要能支撑生产业务再次利用。这一方面给传统声像档案管理带来巨大挑战,另一方面也意味着空前的机遇,电视台声像档案比以往任何时候都更为广泛、全面、丰富、及时地记录了人类文明与社会演进的历程,也比以往任何时候更加容易实现跨媒介、跨形态的传播与增值。因此,电视台声像档案的管理与利用对融媒体业务支撑、对实现其社会文化价值起着非常重要的作用。


面临的挑战


融媒体时代,电视台节目从素材采编、加工制作到分发传播的生产过程全部数字化,电视台声像档案归档的对象也由磁带、光盘、硬盘等介质或将其数字化后的电子文件演变为海量的原生电子数据,具有典型的大数据“5V”特征:(1)数据量大(Volume)。融媒体采编的节目素材来源渠道非常广泛,制播产生多个节目版本多渠道传播,文件和数据交换堪称海量,采集和归档需要极大的计算和存储资源。(2)多样性(Variety)。声像档案多为音视频等非结构化数据,素材来源以及传播渠道、使用用途的不同导致其格式、尺寸、内容、版本呈现多样化的特点。(3)高速性(Velocity)。声像档案体量增长速度快,实现有效的利用也必然要求其处理、检索和提取快速化。(4)准确性(Veracity)。一方面要求档案内容的真实准确,另一方面要求能够从海量数据中准确检索到兴趣信息。(5)价值性(Value)。融媒体时代,声像档案除发挥其作为档案本身的价值外,还可直接支撑生产业务或进行社会化传播,使其价值得到充分发掘。

电视台向融媒体转型,其业务模式、工作方式的改变,促使其声像档案呈现出新的特点,现有的声像案“MIS系统+介质/文件”的管理与利用模式不仅难以满足最基本的归档查档需求,更不能满足反哺业务、促进社会文化建设的发展需求,可以说是面临空前的挑战。

1. 海量异构数据难以实时归档和安全存储

融媒体时代,多格式的素材、节目及其附属信息无时无刻不在产生,现有的先生产后归档的离线异步方式已与时代脱节。归档对象由磁带、光盘、磁盘等载体或数字化后的电子文件演变为全流程异构原生电子数据。海量电子数据如何存储成为需要考虑的关键问题,磁盘存储采购、运行成本高昂,而磁带、光盘等离线存储方式,需要人为干预,读取速度慢,调取利用困难;电子化档案安全也成为不可忽视的问题,档案系统的网络安全、档案文件的数据安全、档案介质的物理安全,都面临严峻挑战。

2. 非结构化数据难以实现精准检索

海量音视频、图像等非结构化数据无法精准检索,导致查询利用困难。文本、网页等结构化、半结构化数据的检索相对是比较容易的,而图像、视频、音频等非结构化数据现有的检索方式则是采用人工归纳部分信息,重新组织建立索引,使其结构化的方式以实现检索,面对海量的融媒体非结构化数据,通过人工索引的方式实现精准检索定位成为不可能完成的任务。

3. 现行交换利用机制难以满足业务需求

档案业务与生产业务联系不紧密,相对独立的规划、建设、管理运行模式既不能快速归档也难以反哺业务;以查阅为主的服务模式不能适应新形势下声像档案自身开发利用、服务社会文化的发展需求。档案工作与制播生产、共享发布等业务系统之间缺少有效的数据交换与利用机制,守着“金库”却无法实现价值变现。


创新思考


融媒体时代对声像档案的影响极为深刻,档案信息的生成、发布、传播、利用过程都深深地打上了融媒体的烙印。而与媒体融合的快速推进、蓬勃发展相比,电视台声像档案的存储平台、交换机制、技术平台都较为落后,现有的管理运行模式无法适应融媒体时代声像档案的新特点,也无法满足其管理、利用和事业发展的需求。面对新的形势,必须要从“顶层设计”角度规划电视台声像档案管理运行模式,打破生产与归档利用之间的壁垒,实现声像档案与融媒体业务在管理体系、业务流程、信息构架上的统筹规划,才能最终达到“实时归档、精准查询、反哺业务、服务社会”的应用目标。

基于以上分析,笔者针对融媒体时代现有声像档案运行中面临的挑战和存在的问题,从存储平台架构、智能语义检索以及交换利用机制3个方面提出一些新思路,以期为融媒体背景下电视台声像档案管理与利用的改革与探索提供有益参考。

1. 升级信息平台,重构分区分层存储架构

针对海量多源异构声像档案的实时归档和交换问题,同步考虑总拥有成本(Total Cost of Ownership, TCO)以及数据安全,提出如图1所示的分区分层存储架构,将存储构架划分为“实时/在线存储区”和“异步/离线存储区”。


图1 电视台声像档案分区分层存储架构.jpg

图1 电视台声像档案分区分层存储架构


(1)实时/在线存储区

采编、制播、媒资与其他融媒体业务系统,档案管理系统以及其他档案共享应用通过内部传输网络与“实时/在线存储区”连接,以实现海量声像档案数据的归档存储和检索交换,“实时/在线存储区”基于分层存储设计,在满足交换速度的同时有效节约投资。热交互层由读写速度更快的固态硬盘(Solid State Drive, SSD)构成,主要存储索引、关系数据库以及使用频率极高的档案文件缓存数据,以满足实时性需求,由于SSD价格较高、寿命较短且一旦损坏数据难以恢复,所以在此架构中不将其用做永久数据存储介质。温运用层由15K RPM(每分钟最高转速)或10K RPM的SAS接口机械硬盘构成,价格适中,读写速度较快,主要存储近期归档的文件以及调用频率较高的档案资料。次温存放层介质为7.2K RPM的近线SAS或 者SATA接口机械硬盘,此类机械硬盘成本较低,读写速度较慢但单盘存储容量巨大,主要用于大量档案文件的长期在线存储。该区域内存储介质全部处于实时在线状态,存储的档案文件可随时供业务系统调用,数据在各层之间根据热度频率或业务系统需求自动移动和重分布。

(2)异步/离线存储区

“异步/离线存储区”分为两层,冷存储层由半离线的自动磁带库、自动光盘库以及虚拟带库(Virtual Tape Library, VTL)组成,负责在线区档案数据的全量备份以及非在线数据的半自动摆渡。冻资料层为完全离线存放的磁带、光盘或独立的机械硬盘,该区域存储使用频率极低或保密性、安全性要求极高的特殊档案,介质成本低廉且易于保存、移动,这部分数据需在接收到业务系统查询调取请求后,由人工介入摆渡至更高存储层。分区分层存储架构带来了许多好处,在满足业务需求的前提下有效降低投资成本,提高存储效率,兼容旧的存储介质且具备冗余性,保障了数据安全。

2. 应用新技术,搭建深度学习智能检索引擎

(1)满足声像档案高级语义特征提取的需求

声像档案管理的对象主要是视频、音频、图像等非结构化数据,长期以来,非结构化数据的精准检索一直是一个难题。近年来,以深度神经网络为代表的深度学习技术发展迅猛,在大数据以及GPU并行计算的加持下,带动了语音识别、计算机视觉等相关技术领域的跨越式发展,加速推动了人工智能的产业化落地。深度学习是机器学习的一个分支,它可以学习样本数据的内在规律和表示层次,通过组合低层特征形成更加抽象的高层表示属性类别或特征,以发现数据的分布式特征表示,它模仿人脑的机制来解释数据,最终目标是让机器能够像人一样具有分析学习能力。深度学习具有强大的特征抽象和表示能力,可以实现对图像、文本、语音等信号的特征抽象,学习到可计算的特征表示,基于深度学习技术可以实现声像档案高级语义特征的提取,进而实现精准检索和定位。

(2)智能语义检索应用已具备可行性

目前,相关计算机视觉以及自然语言处理等深度神经网络模型在研究方面都取得巨大进展并在工程中得到广泛的应用。2015年,ResNet模型在ImageNet大规模图像识别挑战赛(ImageNet Large Scale Visual Recognition Challenge,ILSVRC)中以3.57%的识别错误率首次超越人类视觉5.1%的识别错误率;2017年,ILSVRC竞赛中人脸识别算法的冠军模型准确率已高达97.75%;2018年,Google的BERT模型在机器阅读理解顶级水平测试SQuAD1.1中在总共2个衡量指标上全面超越人类,并且还在11种不同NLP(Neuro-Linguistic Programming)测试中创出最佳成绩。而针对视频进行深度神经网络推理的算力问题,也随着2019年Nvidia Tesla T4 GPU的发布而变得迎刃而解,T4是专用的深度学习推理加速GPU,同时具有专门设计的硬件视频转码引擎。结合SPARK等大数据平台批流一体的处理设计,实现海量声像档案的智能语义检索完全具备可行性。

(3)建立基于深度学习的声像档案检索引擎

基于深度学习技术的声像档案检索引擎(如图2所示),在声像档案库数据基础上进行经典深度学习模型的迁移学习训练,不断完善更新神经网络模型。借助深度卷积神经网络在计算机视觉领域的成果,实现视频、图像档案中物体、人脸、文字等的特征提取,转换为高级语义;借助循环神经网络在自然语言方面的发展,实现语音、语言文本的特征表示和高级语义转换;借助卷积神经网络、循环神经网络两者的交叉和联合,实现图像描述、视频分割与目标追踪等视频序列处理和语义序列提取。最终,完善神经网络推理模型,采用批处理的方式对存量声像档案进行模型推理、提取特征,采用流处理的方式对实时归档的数据进行模型推理和特征提取,建立声像档案全量高级语义索引,用户只需输入关键字句即可实现对声像档案内容的精准检索。


图2 基于深度学习的声像档案智能检索引擎.jpg

图2 基于深度学习的声像档案智能检索引擎


3. 打造数据中台,优化交换利用机制

融媒体时代,电视台声像档案资源面向业务支撑、公共服务的作用日益彰显,这就要求其不仅能满足存档、查档的基本要求,还应该能够实现与制播生产、共享传播等业务系统的无缝对接,实现反哺业务、赋能生产的目标。因此,应立足“顶层设计”规划,以管理体系、业务流程、信息架构创新为依托,站在电视台整体业务发展以及社会文化建设的高度将档案工作纳入融媒体改革大局统筹部署,打造档案数据中台,依托档案数据中台实现与业务系统间声像档案的交换利用。

这一过程中,应重点从以下3方面开展工作:(1)以档案信息体系现代化建设为基础,建立档案管理、业务支撑、社会服务三位一体的电视台声像档案管理运行机制。(2)通过标准API?接口提供档案数据服务,优化交换利用机制,用高效协同的方式与产生、使用档案的业务系统进行对接,加快资源整合和业务融合,充分发挥声像档案信息资源的价值。(3)逐步推进档案数据治理,保障声像档案的数据质量,在推进档案资源共享的同时确保数据安全。


参考文献:

[1] 米加宁,章昌平,李大宇,徐磊.“数字空间”政府及其研究纲领:第四次工业革命引致的政府形态变革[J]. 公共管理学报,2020(17).

[2] 胡正荣,李荃. 走向智慧全媒体生态:媒体融合的历史沿革和未来展望[J]. 新闻与写作,2019(5).

[3] 曹筠慧,管先海,库俊平. 深化档案工作改革的“里程碑”式文件:对《关于加强和改进新形势下档案工作的意见》之17项新概括的再解读[J]. 档案,2018(11).

[4] 金斌,刘礼加. 数据中心分层存储技术探究及实践[J]. 中国金融电脑,2016(5).

[5] 黄静. 面向大数据的智能图像检索方法研究[D]. 青岛科技大学,2020.


作者单位:山东工艺美术学院