本发明是有关于一种显示器、播放内容监控方法及播放内容监控系统，且特别是有关于一种可判断特定影片是否有被正确播放的显示器、播放内容监控方法及播放内容监控系统。
背景技术：
数字看板的内容管理系统为常用来提供广告商播放广告、管理显示器或是广告节目制播的一套服务系统。为了增加广告信息的含量，或是加强广告呈现的显示效果，一个数字看板的屏幕常常会被切割成多个子画面，而每个子画面则可播放各种多媒体，例如影片、图片、文字等内容。藉此，广告商可以通过播放多个子画面而组合出富有变化及具有内容相依性的广告，以达到对观看者行销商品的效果。
然而，若每个时间点的播放画面或子画面之间具有关联性，则在播放每个时间点的播放画面或子画面时的同步即为一项至关重要的事情。若画面出现不同步的情形，很可能令广告无法正确地表达原意，进而影响广告的效果。在此情况下，对于数字看板的内容管理系统而言，判断每个数字看板上播放的内容是否与原本的安排同步，则成为上述系统在进行监控服务时的主要任务。
在已知技术中，各个数字看板上的播放内容将会被回传至内容管理系统，并通过列表的方式呈现。之后，可再通过人为判断的方式来监控广告内容是否正确地播放。具体而言，数字看板将会在某个时间点所显示的画面回传至内容管理系统，以供内容管理系统判断数字看板所回传的画面是否与预期的相同，藉以判断广告内容是否已正确地播放。
然而，在上述作法中，由于每个数字看板皆需多次地回传在不同时间点所显示的画面，因此将可能因需传输的画面资料过多而过度耗费网络频宽。并且，数字看板所回传的画面资料也需要大量的人力进行逐一检视，其不仅将花费较多时间，且人眼亦难以精准地确认各画面或子画面是否同步播放。
另一方面，从播放中的影片撷取画面需要考虑fps(framepersecond)。在此情况下，在相同的时间点(例如，同一秒)上每次截取出来的影格(frame)也不尽相同，因此画面像素数值也无法完全相同，所以无法使用像素比对的方式做为是否同步的判断依据。
技术实现要素：
有鉴于此，本发明提供一种显示器、播放内容监控方法及播放内容监控系统，其可用于解决以上技术问题。
本发明提供一种播放内容监控方法，包括：由显示器在一指定时间点撷取一多媒体内容的一播放画面；由显示器以一第一特征撷取模型将播放画面转换为一播放画面特征序列，并发送播放画面特征序列至一播放管理装置；由播放管理装置判断一原始多媒体内容中对应于该指定时间点的一参考画面特征序列是否匹配于播放画面特征序列；反应于判定参考画面特征序列匹配于播放画面特征序列，判定前述多媒体内容正确播放；反应于判定参考画面特征序列不匹配于播放画面特征序列，判定前述多媒体内容未正确播放。
本发明提供一种播放内容监控系统，包括显示器及播放管理装置。显示器经配置以：在一指定时间点撷取一多媒体内容的一播放画面；以一第一特征撷取模型将播放画面转换为一播放画面特征序列，并发送播放画面特征序列。播放管理装置经配置以：接收播放画面特征序列，并在判断一原始多媒体内容中对应于该指定时间点的一参考画面特征序列是否匹配于播放画面特征序列；反应于判定参考画面特征序列匹配于播放画面特征序列，判定前述多媒体内容正确播放；反应于判定参考画面特征序列不匹配于播放画面特征序列，判定前述多媒体内容未正确播放。
本发明提供一种显示器，包括显示模块、储存电路及处理器。储存电路储存多个模块。处理器耦接显示模块及储存电路，存取前述模块以执行下列步骤：显示模块在一指定时间点撷取多媒体内容的一播放画面；以一第一特征撷取模型将播放画面转换为一播放画面特征序列，并发送播放画面特征序列。
基于上述，本发明实施例的显示器可回传从播放画面撷取的播放画面特征序列至播放管理装置，而播放管理装置可在获得播放画面特征序列及参考画面特征序列之间的差异度之后，据以判定显示器是否已正确地同步播放多媒体内容，因此可提升播放管理装置监控显示器的效率及精确性。
为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合所附图式作详细说明如下。
附图说明
图1是依据本发明的一实施例绘示的播放管理系统示意图。
图2是依据本发明的一实施例绘示的播放内容监控方法流程图。
图3是依据本发明的一实施例绘示的应用情境图。
图4是依据图3绘示的另一应用情境示意图。
附图标号：
100：播放管理系统
110：显示器
112：显示模块
114：储存电路
116：处理器
118：第一特征撷取模型
120：播放管理装置
122：储存电路
124：处理器
126：第二特征撷取模型
310：多媒体内容
311、312、313：多媒体子内容
350：原始多媒体内容
351、352、353：原始子内容
hi：播放画面特征序列
hi1、hi2、hi3：子播放画面特征序列
imi：播放画面
imi1、imi2、imi3：子播放画面
imi’：参考画面
imi1’、imi2’、imi3’：子参考画面
pi：参考画面特征序列
pi1、pi2、pi3：子参考画面特征序列
s210～s270：步骤
t0、t1、…、ti、…、tn：指定时间点
t0’、t1’、…、ti’、…、tn’：参考时间点
具体实施方式
请参照图1，其是依据本发明的一实施例绘示的播放管理系统示意图。在图1中，播放管理系统100包括显示器110及播放管理装置120，其中显示器110例如是可用于播放广告或其他多媒体内容的数字看板或类似的显示装置，而播放管理装置120可用于监控显示器110播放前述广告或多媒体内容的播放情形。在本发明的实施例中，当显示器110所显示的画面包括多个子画面时，播放管理装置120例如可藉由判断显示器110是否同步地播放前述子画面来监控显示器110是否正确地播放前述子画面，相关细节将在之后详述。
如图1所示，显示器110包括显示模块112、储存电路114及处理器116。显示模块112可用于播放包括多个子画面的多媒体内容，并可实现为液晶显示模块(liquidcrystaldisplay，lcd)、薄膜晶体管(tft)-lcd、有机发光二极管(organiclight-emittingdiode，oled)、柔性显示模块、三维(3d)显示模块等，但可不限于此。储存电路114例如是存储器、硬盘或是其他任何可用于储存资料的元件，而可用以记录多个程序码或模块。处理器116耦接于显示模块112及储存电路114，并可为一般用途处理器、特殊用途处理器、传统的处理器、数字信号处理器、多个微处理器(microprocessor)、一个或多个结合数字信号处理器核心的微处理器、控制器、微控制器、特殊应用集成电路(applicationspecificintegratedcircuit，asic)、现场可编程门阵列(fieldprogrammablegatearray，fpga)、任何其他种类的集成电路、状态机、基于进阶精简指令集机器(advancedriscmachine，arm)的处理器以及类似品。
播放管理装置120包括彼此耦接的储存电路122及处理器124，而其个别可能的实施方式可参考显示器110的储存电路114及处理器116的相关说明，于此不再赘述。
请参照图2及图3，其中图2是依据本发明的一实施例绘示的播放内容监控方法流程图，图3是依据本发明的一实施例绘示的应用情境图。图2的方法可由图1的显示器110及播放管理装置120协同执行而实现，以下即搭配图1及图3所示的内容来说明图2中各步骤的细节。
首先，在步骤s210中，在显示器110播放多媒体内容310的过程中，由显示器110在指定时间点撷取多媒体内容310的播放画面。如图3所示，多媒体内容310包括多个多媒体子内容311、312及313，其中各多媒体子内容311～313例如是各自播放的影片、图片、文字。
在本实施例中，显示器110的处理器116可在多个指定时间点t0、t1、…、ti、…、tn(i介于0及n之间，i为整数，n为正整数)个别撷取多媒体内容310的播放画面，其中指定时间点t0～tn可由设计者依需求而设定为任意的时间点(例如为每一秒钟)。为便于理解，以下将仅基于处理器116在指定时间点ti撷取的播放画面imi进行说明，而本领域技术人员应可相应推得处理器116基于在其他指定时间点所撷取的播放画面(未另标示)所进行的操作。
在图3中，播放画面imi包括对应于多媒体子内容311～313的多个子播放画面imi1、imi2、imi3，而其分别为多媒体子内容311～313在指定时间点ti所显示的内容。
在步骤s220中，可由显示器110以第一特征撷取模型118将播放画面imi转换为播放画面特征序列hi，并发送播放画面特征序列hi至播放管理装置120。在本实施例中，显示器110的处理器116可将播放画面imi输入至第一特征撷取模型118，并以第一特征撷取模型118从播放画面imi撷取的特征序列作为播放画面特征序列hi。
在一实施例中，第一特征撷取模型118例如是一类神经网络模型，而处理器116可将播放画面imi输入至此类神经网络模型，并以此类神经网络模型从播放画面imi撷取的特征序列作为播放画面特征序列hi。举例而言，上述类神经网络可采用googlenet来实现，其可将所接收到的播放画面imi转换为对应于1000种类型物件的机率分布序列，而此机率分布序列即可作为播放画面特征序列hi而输出。在其他实施例中，设计者亦可采用softnet或其他类似的模型来实现第一特征撷取模型118，但可不限于此。
在步骤s230中，可由播放管理装置120在参考时间点撷取原始多媒体内容350的参考画面。在本实施例中，原始多媒体内容350包括多个原始子内容351、352及353，其中各原始子内容351～353可一对一地对应于多媒体子内容311～313。亦即，原始子内容351可相同于多媒体子内容311，原始子内容352可相同于多媒体子内容312，原始子内容353可相同于多媒体子内容313。
在本实施例中，播放管理装置120的处理器124可在多个参考时间点t0’、t1’、…、ti’、…、tn’个别撷取原始多媒体内容350的画面作为参考画面，其中参考时间点t0’～tn’可一对一地对应于指定时间点t0～tn。换言之，参考时间点ti’及指定时间点ti可为同一个播放时间点。举例而言，若指定时间点ti为多媒体内容310开始播放后的第10ms，则参考时间点ti’即为原始多媒体内容350开始播放后的第10ms。
为对应先前实施例中的教示，以下仅基于处理器124在参考时间点ti’(其对应于指定时间点ti)所撷取的参考画面imi’进行讨论。在图3中，参考画面imi’包括对应于原始子内容351～353的多个子参考画面imi1’、imi2’、imi3’，而其分别即为原始子内容351～353在参考时间点ti’所显示的内容。
在步骤s240中，可由播放管理装置120以第二特征撷取模型126将参考画面imi’转换为参考画面特征序列pi。在本实施例中，第二特征撷取模型126可相同于第一特征撷取模型118。举例而言，处理器116及处理器124可采用同一个类神经网络来建构第一特征撷取模型118及第二特征撷取模型126。
在一实施例中，若显示器110能够正确地同步播放多媒体子内容311～313，则在同一个播放时间点被撷取的播放画面imi及参考画面imi’应会彼此相同。并且，由于处理器116及处理器124是采用同一个类神经网络来建构第一特征撷取模型116及第二特征撷取模型126，因此播放画面特征序列hi应亦会相同于参考画面特征序列pi。相反地，若显示器110因故障或其他原因而未能同步地播放多媒体子内容311～313，则播放画面imi将不同于参考画面imi’。相应地，播放画面特征序列hi亦会不同于参考画面特征序列pi。
换言之，若播放画面特征序列hi相同于参考画面特征序列pi，则播放管理装置120即可得知显示器110在指定时间点ti已正确地同步播放多媒体子内容311～313。
因此，在步骤s250中，可由播放管理装置120判断参考画面特征序列pi是否匹配于播放画面特征序列hi。在一实施例中，播放管理装置120的处理器124可计算参考画面特征序列pi与播放画面特征序列hi之间的差异度，并判断差异度是否小于等于一阈值。若是，则处理器124可判定参考画面特征序列pi匹配于播放画面特征序列hi，反之则可判定参考画面特征序列pi不匹配于播放画面特征序列hi。在不同的实施例中，上述阈值可以是趋近于0的数值，但可不限于此。
在一实施例中，处理器124可计算参考画面特征序列pi与播放画面特征序列hi之间的kl散度(kldivergence)来作为上述差异度。上述kl散度可表示为dkl(hi|pi)＝∑jhjlog2(hj/pj)。举例而言，假设播放画面特征序列hi为[0.1,0.2,0.7]，而参考画面特征序列pi为[0.1,0.2,0.7]，则上述kl散度即为：
在此情况下，处理器124即可判定参考画面特征序列pi匹配于播放画面特征序列hi。
然而，假设播放画面特征序列hi为[0.01,0.6,0.39]，而参考画面特征序列pi为[0.1,0.2,0.7]，则上述kl散度即为：
在此情况下，处理器124即可判定参考画面特征序列pi未匹配于播放画面特征序列hi。
在其他实施例中，设计者亦可依需求而采用任意方式来表征参考画面特征序列pi与播放画面特征序列hi之间的差异度，例如js散度(jsdivergence)，并不限于以上实施方式。
请再次参照图2，反应于判定参考画面特征序列pi匹配于该播放画面特征序列hi，则播放管理装置120可在步骤s260中判定多媒体内容310正确播放，例如多媒体子内容311～313已正确地被播放。相反地，反应于判定参考画面特征序列pi不匹配于该播放画面特征序列hi，则播放管理装置120可在步骤s270中判定多媒体内容310未正确播放，例如多媒体子内容311～313未正确地被播放。
由上可知，本发明提出的播放内容监控方法可让显示器仅需回传从播放画面转换的播放画面特征序列至播放管理装置，因而可有效地节省网络频宽。并且，由于播放管理装置仅需经由简单计算即可得出播放画面特征序列及参考画面特征序列之间的差异度，进而判定显示器是否已正确地同步播放多媒体内容，因此可提升播放管理装置监控显示器的效率及精确性。
在其他实施例中，本发明更提出以下机制来具体找出是哪个子画面出现不同步的情形，以下将辅以图4进行说明。
请参照图4，其是依据图3绘示的另一应用情境示意图。在本实施例中，显示器110可藉由第一特征撷取模型118来将子播放画面imi1、imi2、imi3转换为对应的子播放画面特征序列hi1、hi2、hi3，并将子播放画面特征序列hi1～hi3发送至播放管理装置120。
相应地，播放管理装置120亦可藉由第二特征撷取模型126来将子参考画面imi1’、imi2’、imi3’转换为对应的子参考画面特征序列pi1、pi2、pi3。
在一实施例中，反应于判定多媒体子内容311～313未正确播放，播放管理装置120可进一步计算各子播放画面特征序列hi1、hi2、hi3与对应的子参考画面特征序列pi1、pi2、pi3之间的差异度，藉以具体找出是多媒体子内容311～313中的何者未正确地被播放。举例而言，假设只有子播放画面特征序列hi1与子参考画面特征序列pi1之间的差异度不为0，即代表是对应于子播放画面特征序列hi1的多媒体子内容311未被正确地播放。举例而言，假设子播放画面特征序列hi2与子参考画面特征序列pi2之间的差异度，以及子播放画面特征序列hi3与子参考画面特征序列pi3之间的差异度皆不为0，即代表对应于子播放画面特征序列hi2及hi3的多媒体子内容312及313未被正确地播放。
藉此，可令相关人员(例如，广告商)能够更为精准地掌握播放器110的显示情形，进而据以采取相应的维护或调校措施，比如重新启动显示器110，或者快转显示器110的播放画面。
综上所述，本发明实施例可让显示器仅需回传从播放画面撷取的播放画面特征序列至播放管理装置，因而可有效地节省网络频宽。并且，由于播放管理装置仅需经由简单计算即可得出播放画面特征序列及参考画面特征序列之间的差异度，进而判定显示器是否正确地同步播放多媒体内容。藉此，可在不需考虑fps的情况下，提升播放管理装置监控显示器的效率及精确性。
此外，显示器还可将播放画面中各个子播放画面对应的子播放画面特征序列发送至播放管理装置，以供播放管理装置在判定显示器未正确显示多媒体内容之后，进一步找出是哪个多媒体子内容未被正确地播放。
虽然本发明已以实施例揭露如上，然其并非用以限定本发明，任何本领域技术人员，在不脱离本发明的精神和范围内，当可作些许的更动与润饰，故本发明的保护范围当视权利要求所界定者为准。
1.一种播放内容监控方法，其特征在于，包括：
由一显示器在一指定时间点撷取一多媒体内容的一播放画面；
由所述显示器以一第一特征撷取模型将所述播放画面转换为一播放画面特征序列，并发送所述播放画面特征序列至一播放管理装置；
由所述播放管理装置判断一原始多媒体内容中对应于所述指定时间点的一参考画面特征序列是否匹配于所述播放画面特征序列；
反应于判定所述参考画面特征序列匹配于所述播放画面特征序列，判定所述多媒体内容正确播放；
反应于判定所述参考画面特征序列不匹配于所述播放画面特征序列，判定所述多媒体内容未正确播放。
2.根据权利要求1所述的方法，其特征在于，包括：
由所述显示器将所述播放画面输入至所述第一特征撷取模型，并以所述第一特征撷取模型从所述播放画面撷取的一第一特征序列作为所述播放画面特征序列；
由所述播放管理装置在一参考时间点撷取所述原始多媒体内容的一参考画面，且所述参考时间点对应于所述指定时间点；以及
由所述播放管理装置将所述参考画面输入至一第二特征撷取模型，并以所述第二特征撷取模型从所述参考画面撷取的一第二特征序列作为所述参考画面特征序列。
3.根据权利要求2所述的方法，其特征在于，所述第一特征撷取模型及所述第二特征撷取模型为相同的类神经网络。
4.根据权利要求1所述的方法，其特征在于，判断所述参考画面特征序列是否匹配于所述播放画面特征序列的步骤包括：
计算所述参考画面特征序列与所述播放画面特征序列之间的一差异度，并判断所述差异度是否小于等于一阈值；
反应于所述差异度小于等于所述阈值，判定所述参考画面特征序列匹配于所述播放画面特征序列；
反应于所述差异度不小于等于所述阈值，判定所述参考画面特征序列不匹配于所述播放画面特征序列。
5.根据权利要求4所述的方法，其特征在于，所述差异度为所述参考画面特征序列与所述播放画面特征序列之间的一kl散度或一js散度。
6.根据权利要求2所述的方法，其特征在于，所述多媒体内容包括多个多媒体子内容，所述播放画面包括对应于所述多媒体子内容的多个子播放画面，其中所述原始多媒体内容包括对应于所述多媒体子内容的多个原始子内容，所述参考画面包括对应于所述原始子内容的多个子参考画面。
7.根据权利要求6所述的方法，其特征在于，所述多媒体子内容的一第一多媒体子内容对应于所述原始子内容的一第一原始子内容，所述子播放画面包括对应于所述第一多媒体子内容的一第一子播放画面，所述子参考画面包括对应于所述第一原始子内容的一第一子参考画面，且所述方法更包括：
由所述显示器以所述第一特征撷取模块将所述第一子播放画面转换为一第一子播放画面特征序列，并发送所述第一子播放画面特征序列至所述播放管理装置；
由所述播放管理装置以所述第二特征撷取模块将所述第一子参考画面转换为一第一子参考画面特征序列；
反应于判断所述第一子播放画面特征序列匹配于所述第一子参考画面特征序列，判定所述第一多媒体子内容正确播放；以及
反应于判断所述第一子播放画面特征序列未匹配于所述第一子参考画面特征序列，判定所述第一多媒体子内容未正确播放。
8.一种播放内容监控系统，其特征在于，包括：
一显示器，其经配置以：
在一指定时间点撷取一多媒体内容的一播放画面；
以一第一特征撷取模型将所述播放画面转换为一播放画面特征序列，并发送所述播放画面特征序列；以及
一播放管理装置，其经配置以：
接收所述播放画面特征序列，并判断一原始多媒体内容中对应于所述指定时间点的一参考画面特征序列是否匹配于所述播放画面特征序列；
反应于判定所述参考画面特征序列匹配于所述播放画面特征序列，判定所述多媒体内容正确播放；
反应于判定所述参考画面特征序列不匹配于所述播放画面特征序列，判定所述多媒体内容未正确播放。
9.根据权利要求8所述的系统，其特征在于，所述显示器将所述播放画面输入至所述第一特征撷取模型，并以所述第一特征撷取模型从所述播放画面撷取的一第一特征序列作为所述播放画面特征序列；以及
所述播放管理装置在一参考时间点撷取所述原始多媒体内容的一参考画面，且所述参考时间点对应于所述指定时间点；
所述播放管理装置将所述参考画面输入至一第二特征撷取模型，并以所述第二特征撷取模型从所述参考画面撷取的一第二特征序列作为所述参考画面特征序列。
10.根据权利要求9所述的系统，其特征在于，所述第一特征撷取模型及所述第二特征撷取模型为相同的类神经网络。
11.根据权利要求8所述的系统，其特征在于，所述播放管理装置经配置以：
计算所述参考画面特征序列与所述播放画面特征序列之间的一差异度，并判断所述差异度是否小于等于一阈值；
反应于所述差异度小于等于所述阈值，判定所述参考画面特征序列匹配于所述播放画面特征序列；
反应于所述差异度不小于等于所述阈值，判定所述参考画面特征序列不匹配于所述播放画面特征序列。
12.根据权利要求11所述的系统，其特征在于，所述差异度为所述参考画面特征序列与所述播放画面特征序列之间的一kl散度或一js散度。
13.根据权利要求9所述的系统，其特征在于，所述多媒体内容包括多个多媒体子内容，所述播放画面包括对应于所述多媒体子内容的多个子播放画面，其中所述原始多媒体内容包括对应于所述多媒体子内容的多个原始子内容，所述参考画面包括对应于所述原始子内容的多个子参考画面。
14.根据权利要求13所述的系统，其特征在于，所述多媒体子内容的一第一多媒体子内容对应于所述原始子内容的一第一原始子内容，所述子播放画面包括对应于所述第一多媒体子内容的一第一子播放画面，所述子参考画面包括对应于所述第一原始子内容的一第一子参考画面，且所述显示器更以所述第一特征撷取模块将所述第一子播放画面转换为一第一子播放画面特征序列，并发送所述第一子播放画面特征序列至所述播放管理装置，而所述播放管理装置更经配置以：
以所述第二特征撷取模块将所述第一子参考画面转换为一第一子参考画面特征序列；
反应于判断所述第一子播放画面特征序列匹配于所述第一子参考画面特征序列，判定所述第一多媒体子内容正确播放；以及
反应于判断所述第一子播放画面特征序列未匹配于所述第一子参考画面特征序列，判定所述第一多媒体子内容未正确播放。
15.一种显示器，其特征在于，包括：
一显示模块；
一储存电路，储存多个模块；以及
一处理器，耦接所述显示模块及所述储存电路，存取所述模块以执行下列步骤：
所述显示模块在一指定时间点撷取多媒体内容的一播放画面；
以一第一特征撷取模型将所述播放画面转换为一播放画面特征序列，并发送所述播放画面特征序列。
16.根据权利要求15所述的显示器，其特征在于，所述播放画面特征序列被发送至一播放管理装置，以供所述播放管理装置判断所述显示器是否同步地播放所述多媒体内容。
17.根据权利要求15所述的显示器，其特征在于，所述多媒体内容包括多个多媒体子内容，所述播放画面包括对应于所述多媒体子内容的多个子播放画面。
18.根据权利要求17所述的显示器，其特征在于，所述多媒体子内容包括一第一多媒体子内容，所述子播放画面包括对应于所述第一多媒体子内容的一第一子播放画面，且所述处理器更以所述第一特征撷取模块将所述第一子播放画面转换为一第一子播放画面特征序列，并发送所述第一子播放画面特征序列至一播放管理装置，以供所述播放管理装置判断所述显示器是否正确地播放所述第一多媒体子内容。
技术总结