示例性实施例的各方面涉及一种显示设备及其控制方法，更具体地，涉及一种处理室内图像的显示设备及其控制方法。
背景技术：
近年来，随着电子技术的发展，开发并发布了各种类型的电子设备。
特别地，随着近来对室内设计的兴趣增加，已经进行了各种尝试来提供将增强现实(ar)技术与室内设计相结合的成果产品。
然而，常规方法仅提供预存储的室内图像，而不考虑先前布置的室内家具、家用电器和配饰。另外，难以提供反映室内墙纸颜色和室内照明亮度的虚拟室内产品。
因此，需要通过最大程度地保持布置在室内的家具、家用电器和配饰同时仅调整家具、家用电器和配饰的位置来提供虚拟室内成果产品。
此外，基于布置新的家用电器和家具，需要向用户提供与先前的室内内部相适应的直观室内信息。
技术实现要素：
基于上述需要设计了本公开，并且示例性实施例的一方面在于提供一种显示设备及其控制方法，所述显示设备考虑到包括在拍摄的图像中的对象图像而改变室内图像。
根据一个实施例的显示设备包括通信接口、相机、显示器和处理器，处理器被配置为接收关于包括与用户选择的对象具有相同类型的第一对象图像的多个图像和关于所述多个图像中的每一个中包括的第二对象图像的信息，并且处理器基于关于从通过相机拍摄的图像中识别的第三对象图像和接收的第二对象图像的信息来从所述多个图像中识别一个图像，并且处理器控制显示器基于识别的图像、与用户选择的对象相对应的第四对象图像以及第三对象图像来显示获得的图像。
处理器可以在识别的图像中用第四对象图像替代第一对象图像，并且可以用第三对象图像替代包括在识别的图像中的第二对象图像，以获得所述图像。
关于接收的第二对象图像的信息可以包括关于包括在所述多个图像中的每一个中的第二对象图像的数量、尺寸或颜色中的至少一项信息，并且处理器可以基于在拍摄的图像中识别的第三对象图像的数量、尺寸和颜色中的至少一项来识别所述多个图像中的每一个与拍摄的图像之间的相似度，并且可以识别相似度为阈值或更高值的图像。
处理器可以基于所述多个图像中的每一个的环境信息和拍摄的图像的环境信息来识别相似度，并且环境信息可以包括背景颜色信息、亮度信息或空间尺寸信息中的至少一项信息。
基于输入了关于从拍摄的图像中识别的至少一个第三对象图像的选择命令，处理器可以优先确定第三对象图像中的与选择命令相对应的对象图像和包括在所述多个图像中的每一个中的第二对象图像之间的相似度，以识别所述多个图像中的每一个与拍摄的图像之间的相似度。
处理器可以控制显示器通过向从识别的图像中移除了第一对象图像的区域添加基于所述多个图像中识别的图像的环境信息所推荐的与用户选择的对象具有相同类型的推荐对象图像来显示获得的图像。
处理器可以将拍摄的图像的环境信息处理到获得的图像中以通过显示器进行提供，并且拍摄的图像的环境信息可以包括拍摄的图像的背景颜色信息、亮度信息或空间尺寸信息中的至少一项。
处理器可以控制显示器显示包括对象的识别信息或安装类型中的至少一项的列表。
处理器可以从服务器接收关于所述多个图像和所述多个图像中的每一个中包括的第二对象图像的信息，其中服务器爬网并存储关于室内图像和室内图像中包括的对象的信息。
基于从获得的图像中识别出未包括在拍摄的图像中的对象图像，处理器可以控制显示器与其余对象图像区分开地显示识别出的对象图像，并且可以向识别出的对象图像提供与识别出的对象图像相对应的相关网站信息。
根据本公开的一个实施例的显示设备的控制方法包括：接收关于包括与用户选择的对象具有相同类型的第一对象图像的多个图像和关于包括在所述多个图像中的每一个中的第二对象图像的信息；基于关于从拍摄的图像中识别的第三对象图像和接收的第二对象图像的信息，从所述多个图像中识别一个图像；以及基于识别的图像、与用户选择的对象相对应的第四对象图像和第三对象图像来显示获得的图像。
显示获得的图像可以包括：用与用户选择的对象相对应的第四对象图像替代识别的图像中的第一对象图像，并且用第三对象图像替代包括在识别的图像中的第二对象图像，以获得所述图像。
关于接收的第二对象图像的信息可以包括关于包括在所述多个图像中的每一个中的第二对象图像的数量、尺寸或颜色中的至少一项信息，并且从所述多个图像中识别一个图像可以包括：基于从拍摄的图像中识别的第三对象图像的数量、尺寸或颜色中的至少一项来识别所述多个图像中的每一个与拍摄的图像之间的相似度，并且识别相似度为阈值或更高值的图像。
从所述多个图像中识别一个图像可以包括：基于所述多个图像中的每一个的环境信息和拍摄的图像的环境信息来识别相似度，并且环境信息包括背景颜色信息、亮度信息或空间尺寸信息中的至少一项。
从所述多个图像中识别一个图像可以包括：基于输入了对从拍摄的图像选择的第三对象图像之一的选择命令，优先确定第三对象图像中的与选择命令相对应的对象图像和包括在所述多个图像中的每一个中的第二对象图像之间的相似度，并且识别所述多个图像中的每一个与拍摄的图像之间的相似度。
显示获得的图像可以包括：通过向从识别的图像中移除了第一对象图像的区域添加基于所述多个图像中识别的图像的环境信息所推荐的与用户选择的对象具有相同类型的推荐对象图像来显示获得的图像。
显示获得的图像可以包括：将拍摄的图像的环境信息处理到获得的图像中并且通过显示器进行提供，并且拍摄的图像的环境信息可以包括拍摄的图像的背景颜色信息、亮度信息或空间尺寸信息中的至少一项。
所述控制方法可以包括：显示包括对象的识别信息或安装信息中的至少一项在内的列表。
所述接收可以包括：从服务器接收关于所述多个图像和关于包括在所述多个图像中的每一个中的第二对象图像的信息，其中服务器爬网并存储关于室内图像和室内图像中包括的对象的信息。
所述显示可以包括：基于从获得的图像中识别出未包括在拍摄的图像中的对象图像，与其余对象图像区分开地显示识别出的对象图像；以及向识别出的对象图像提供与识别出的对象图像相对应的相关网站信息。
根据本公开的各种实施例，可以向用户提供虚拟室内成果产品，该产品反映了布置在室内的家具、家用电器和配饰以及用于布置新家具或家用电器的直观透视室内图。
附图说明
根据结合附图呈现的本发明构思的某些示例性实施例的描述，本发明构思的上述方面和/或其他方面将更加明显，在附图中：
图1是示出了根据本公开的一个实施例的显示设备的配置的框图；
图2是示出了在图1中所示的显示设备的详细配置的框图；
图3a和图3b是根据本公开的一个实施例提供的对多个室内图像进行说明的视图；
图4是根据本公开的一个实施例提供的对相似度进行说明的视图；
图5是根据本公开的一个实施例提供的对推荐的对象图像进行说明的视图；
图6是根据本公开的一个实施例提供的对环境信息进行说明的视图；
图7是根据本公开的一个实施例提供的对列表进行说明的视图；
图8是根据本公开的一个实施例提供的对采购网站链接进行说明的视图；以及
图9是根据本公开的一个实施例提供的对显示设备的控制方法进行说明的流程图。
具体实施方式
以下，将参考附图详细地说明本公开。考虑到本公开的功能，从当前广泛使用的通用术语中选择了本公开的示例中使用的术语，但是可以基于相关领域技术人员的意图和先例、新技术的出现等改变这些术语。此外，在特定情况下，可能存在由申请人任意选择的一些术语，并且其含义将在与本公开相关的描述中详细公开。因此，在本公开中使用的术语不仅是术语的命名，而且必须基于整个本公开中术语的含义和上下文来定义。
在本公开中，诸如“具有”、“可以具有”、“包括”或“可以包括”的表述是指存在相关特征(例如，诸如数值、功能、操作或组件的元素)，而不排除存在其他特征。
表述“a和/或b中的至少一个”应理解为指示以下项中的至少一个：“a”，或“b”，或“a”和“b”。
在本说明书中使用的诸如“第一”或“第二”的表述可以修饰各种元件，而与顺序和/或重要性无关，并且不用于限制相关元件，而仅用于区分一个元件与另一个元件。
基于某个元件(例如，第一元件)被指示为“(操作地或通信地)耦接到”另一元件(例如，第二元件)或“连接到”另一元件，应理解为某个元件直接耦接到另一元件，或者可以通过又一元件(例如，第三元件)进行耦接。
除非上下文另有明确说明，否则单数表述包括复数表述。在本申请中，诸如“包括”或“被配置”之类的术语在本文中用于指定说明书中所公开的特征、数量、步骤、操作、元件、组件或其组合的存在，并且不应被理解为预先排除一个或多个其他特征、数量、阶段、操作、元件、组件或其组合的存在或添加可能性。
在本公开中诸如“模块”、“部件”之类的术语用于指代执行至少一个功能或操作的元件，并且可以被实现为硬件或软件、或者硬件和软件的组合。此外，除了需要实现为特定硬件的“模块”、“部件”等之外，可以将多个“模块”或多个“部件”集成到至少一个模块中并且实现为至少一个处理器(未示出)。
在本说明书中，术语“用户”表示使用电子设备的用户或使用电子设备的设备(例如，具有人工智能的电子设备)。
在下文中，将参考附图详细描述本公开的实施例。
图1是根据本公开的一个实施例的显示设备的框图。
显示设备100可以被实现为具有显示功能的设备，诸如tv、智能电话、平板pc、pmp、pda、笔记本pc、智能手表、头戴式显示器(hmd)和近眼显示器(ned)。显示设备100可以具有各种形式的显示器以提供显示功能。
然而，可以通过不具有显示功能的电子设备来实现根据本公开的各种实施例。例如，将内容提供给显示设备的诸如蓝光(blu-ray)播放器、数字多功能盘(dvd)、用于流传输内容的输出设备和机顶盒之类的各种形式的电子设备可以实现本公开的各种实施例。作为另一示例，诸如扬声器、冰箱、洗衣机、空调、空气净化器和各种物联网之类的各种形式的家用电器也可以实现本公开的各种实施例。为了方便起见，将显示设备100解释为配备有相机120的用户终端设备。
参考图1，显示设备100包括通信接口110、相机120、显示器130和处理器140。
通信接口110是用于与外部服务器通信的配置。
特别地，通信接口110可以接收关于多个图像和该多个图像中的每一个中包括的第二对象图像的信息，其中该多个图像包括与用户选择的对象具有相同类型的第一对象图像。根据一个实施例，对象可以是家用电器或家具中的至少一个。此外，图像可以是与室内/室外内部有关的图像。然而，这仅是示例，并且不限于此。例如，用户选择的对象可以是能够布置在室内/室外的各种形式的家用电器、家具、家用物品、内部配饰等。此外，与室内/室外内部有关的图像可以表示包括各种对象形式的图像，诸如拍摄的图像、2d/3d图像和通过相机拍摄的虚拟现实图像等。为了方便起见，将把对象解释为家用电器、家具等，并且将把图像解释为室内相关图像。
相机120可以被布置在显示设备100的正面或背面的至少一个位置处。显示设备100可以使用相机120拍摄显示设备100的正面或背面。
根据一个实施例，相机120可以被布置在显示设备100的背面上，并且显示设备100可以通过相机120获得拍摄了显示设备100的周围环境的图像。例如，显示设备100可以通过相机120获得拍摄了室内环境的图像。在此，通过相机120拍摄的图像可以包括多个对象图像。例如，通过相机120拍摄的室内环境图像可以包括陈设在室内的多个对象图像，诸如家具、家用电器、照明设备、家庭装饰产品(例如，相框、花盆、钟表、镜子等)等。在此，拍摄的图像是通过相机120拍摄的，但这仅是示例。拍摄的图像可以表示通过相机120接收的实时取景图像。
显示器130可以提供能够通过显示设备100提供的各种内容屏幕。在此，内容屏幕可以包括诸如图像、视频、文本、音乐等的各种内容、应用执行屏幕、图形用户界面(gui)屏幕等。
显示器130可以被实现为各种形式的显示器，例如液晶显示器(lcd)、有机发光二极管(oled)显示器和等离子显示面板(pdp)。显示器130可以包括能够被实现为诸如非晶硅tft、低温多晶硅(ltps)tft和有机tft(otft)等形式的驱动电路、背光单元等。同时，显示器130可以被实现为与触摸传感器耦接的触摸屏、柔性显示器、3d显示器等。
此外，根据本公开的一个实施例的显示器130不仅可以包括输出图像的显示面板，而且还可以包括用于容纳显示面板的边框(bezel)。具体地，根据本公开的实施例的边框可以包括触摸传感器(未示出)以检测用户交互。
特别地，如下所述，显示器130可以显示多个室内图像、相机120拍摄的图像或处理器140获得的图像中的至少一个。
处理器140可以控制显示设备100的整体操作。
处理器140可以被实现为处理数字信号的数字信号处理器(dsp)、微处理器或时间控制器(tcon)。然而，处理器不限于此，并且可以包括中央处理单元(cpu)、微控制器单元(mcu)、微处理单元(mpu)、控制器、应用处理器(ap)、图形处理单元(gpu)或通信处理器(cp)或arm处理器中的至少一个，或可以由相应术语限定。此外，处理器140可以以具有内置处理算法的片上系统(soc)的形式实现，实现为大规模集成电路，或实现为现场可编程门阵列(fpga)。处理器140可以通过执行存储在存储器150中的计算机可执行指令来执行各种功能。
特别地，处理器140可以接收关于多个图像和关于多个室内图像中的每一个中包括的第二对象图像的信息，其中该多个图像包括与用户通过通信接口110选择的至少一个家用电器或家具具有相同类型的第一对象图像。在此，由用户选择的家用电器或家具中的至少一个可以是根据用户的选择命令、输入等选择的至少一个家用电器或家具。例如，处理器140可以输出包括多个家用电器、家具产品等的列表。
此外，基于根据用户输入从列表中包括的家用电器或家具产品中选择了至少一个，可以接收关于包括与选择的家用电器或家具中的至少一个具有相同类型的第一对象图像在内的多个室内图像以及该多个室内图像中的每一个中包括的第二对象图像的信息。
根据一个实施例，基于选择的家用电器是tv，可以接收包括tv的多个室内图像。此外，可以从服务器(未示出)接收关于包括tv的多个室内图像中的每一个中包括的第二对象图像的信息。
在此，服务器可以爬网并存储关于室内内部图像和室内内部图像中包括的对象的信息。爬网是指收集分布和存储在无数个web服务器中的信息并包括该信息作为用于搜索主题的索引的技术。
根据一个实施例，服务器通过网络爬行或网络抓取来获得多个图像，并从多个图像中识别室内内部图像。此外，执行对包括在室内图像中的多个对象图像的索引化以生成数据库(db)。例如，从通过网络爬行获得的多个图像中识别室内内部图像，并且可以存储关于包括在识别的室内图像中的沙发、桌子、窗户、相框等的信息。在此，沙发、桌子、窗户、相框等是包括在室内图像中的第二对象图像的示例，但是不必限于此。第二对象图像可以是包括在室内图像中的可识别的对象图像(例如，家具、家用电器、照明设备、家庭装饰产品等)。此外，第二对象图像的信息可以包括识别的对象图像的数量、种类(或类型)、尺寸或颜色或在室内图像上的位置中的至少一项。
根据另一个实施例，基于选择的家具是沙发，可以接收包括沙发的多个室内图像。此外，可以从服务器接收关于包括沙发的多个室内图像中的每一个中所包括的第二对象图像的信息。
同时，除了从服务器接收关于包括第一对象图像的室内图像和室内图像中所包括的第二对象图像的信息之外，显示设备100还可以自获取信息。例如，显示设备100可以通过网络爬行来获得多个室内图像，并且获得和存储关于包括在多个室内图像中的第二对象图像的信息。
根据本公开的一个实施例，处理器140可以基于关于从通过相机120拍摄的图像中识别的第三对象图像和接收的第二对象图像的信息，从多个室内图像中识别一个室内图像。
在此，第三对象图像是指包括在拍摄的图像中的多个对象图像。例如，通过相机120拍摄的室内图像可以包括各种形式的第三对象图像，诸如陈设在室内的家具、家用电器、照明设备、家庭装饰产品(例如，相框、花盆、钟表、镜子等)等。
根据本公开的一个实施例，处理器140可以基于关于从拍摄的图像中识别的第三对象图像和包括在多个室内图像中的第二对象图像的信息，从多个室内图像中识别一个室内图像。
特别地，可以基于关于多个室内图像中的第一室内图像中包括的第二对象图像以及关于拍摄的图像中包括的第三对象图像的信息，来识别第一室内图像和拍摄的图像之间的相似度。在此，关于第二或第三对象图像的信息可以包括对象图像的数量、尺寸、颜色、类型或位置中的至少一项。
基于识别出多个室内图像中的第一室内图像和拍摄的图像之间的相似度，处理器140可以通过相同的方法识别多个室内图像中的第二室内图像和拍摄的图像之间的相似度。
根据一个实施例，处理器140可以基于包括在第一室内图像中的第二对象图像的数量和包括在拍摄的图像中的第三对象图像的数量来识别第一室内图像和拍摄的图像之间的相似度。例如，处理器140可以基于第二对象图像和第三对象图像的数量之间的差小于预定阈值，将第一室内图像和拍摄的图像识别为相似，或者可以添加预定值的相似度得分。
根据一个实施例，处理器140可以针对关于对象图像的数量、尺寸、颜色、类型或位置的多个因素计算相似度得分，并且通过合计每个相似度得分来识别最终相似度得分。
根据另一个实施例，基于针对关于对象图像的数量、尺寸、颜色、类型或位置的多个因素计算出相似度得分，处理器140可以将不同的加权值应用于计算出的相似度，然后合计并识别最终相似度得分。例如，与针对对象图像的尺寸计算的相似度得分相比，处理器140可以将更大的加权值应用于针对对象图像的数量所计算的相似度得分。
另外，处理器140可以从多个室内图像中识别相似度(例如，相似度得分)等于或大于阈值的室内图像。根据一个实施例，基于第一室内图像和拍摄的图像之间的相似度等于或大于阈值并且第二室内图像和拍摄的图像之间的相似度等于或大于阈值，处理器140可以仅选择第一室内图像和第二室内图像之间具有相对高相似度的一个图像，但是不限于此。处理器140也可以选择第一室内图像和第二室内图像两者。
根据一个实施例，基于第一室内图像中包括两个家庭装饰产品“相框”图像并且拍摄的图像中包括相同的两个家庭装饰产品“相框”图像，处理器140可以确定第一室内图像与拍摄的图像之间的相似度等于或大于阈值。
根据另一个实施例，基于包括在第一室内图像中的家具“沙发”图像的尺寸与包括在拍摄的图像中的家具“沙发”图像的尺寸相似，第一室内图像和拍摄的图像之间的相似度可以被确定为等于或大于阈值。根据又一个实施例，可以基于包括在第一室内图像中的相框图像的数量与包括在拍摄的图像中的相框图像的数量相同来应用0.5的相似度得分，并且可以基于包括在第一室内图像中的相框图像的尺寸与包括在拍摄的图像中的相框图像的尺寸之间的差来应用0.3的相似度得分，以识别合计的相应相似度得分0.8是否等于或大于预定阈值。
另外，根据本公开的实施例，处理器140可以基于与识别的图像相对应的第四对象图像、用户选择的对象(例如，家用电器或家具等)以及从拍摄的图像中识别的第三对象图像来获得图像。根据一个实施例，处理器140可以用与用户选择的至少一个家用电器或家具相对应的第四对象图像来替代识别的室内图像中的第一对象图像。例如，包括在第一室内图像中的被识别为具有等于或大于阈值的相似度的“tv”图像可以被用户选择的“tv”替代。根据一个实施例，处理器140可以执行删除包括在第一室内图像中的“tv”图像的图像处理，并且可以执行将用户选择的“tv”添加到相关位置的渲染。
另外，根据一个实施例，处理器140可以用第三对象图像替代包括在识别的室内图像中的第二对象图像，并且通过显示器130提供获得的图像。例如，可以将包括在识别的第一室内图像中的“沙发”图像替换为包括在通过相机120拍摄的图像中的“沙发”图像。根据实施例，处理器140可以执行删除包括在第一室内图像中的“沙发”图像的图像处理，并且可以执行将包括在拍摄的图像中的“沙发”图像添加到相关位置的渲染。因此，通过将从服务器接收的第一室内图像用作背景并添加用户选择的家具或家用电器，处理器140可以获得添加有陈设在室内环境中的家具、家用电器、家庭装饰产品等的图像。
根据本公开的一个实施例，处理器140可以基于多个室内图像中的每一个的环境信息和拍摄的图像的环境信息来识别相似度。在此，环境信息可以包括背景颜色信息、亮度信息或空间尺寸信息中的至少一项。
例如，处理器140可以通过将多个室内图像中的第一室内图像和拍摄的图像的环境信息进行比较来识别相似度。根据一个实施例，基于第一室内图像的背景颜色和根据拍摄的图像的室内背景颜色被识别为相同或相似，处理器140可以确定相似度等于或大于阈值。根据另一个实施例，基于多个室内图像中的第二室内图像的亮度和拍摄的图像的室内亮度被识别为相同或相似，处理器140可以确定相似度等于或大于阈值。
同时，根据本公开的一个实施例，处理器140可以基于输入了关于从拍摄的图像中识别的至少一个第三对象图像的选择命令，优先确定第三对象图像中的与选择命令相对应的对象图像和包括在多个图像中的每一个中的第二对象图像之间的相似度，以识别多个图像中的每一个与拍摄的图像之间的相似度。根据一个实施例，可以对从拍摄的图像中识别的第三对象图像中的与其他家用电器或家具相比相对难以移动的对象图像(诸如“沙发”、“支柱”、“内置书架”等)输入用户选择命令。此外，处理器140可以优先确定第三对象图像中的与选择命令相对应的对象图像和包括在第一室内图像中的第二对象图像之间的相似度。例如，基于对从拍摄的图像中识别的第三对象图像中的“内置书架”图像输入了选择命令，可以优先确定与包括在第一室内图像中的第二对象图像中的“内置书架”的相似度。然后，处理器140可以确定多个室内图像中的每一个与拍摄的图像之间的相似度，这将在图4中详细描述。
根据本公开的一个实施例，处理器可以基于从多个室内图像中识别出一个室内图像而从识别出的室内图像中移除第一对象图像，并且可以通过将基于识别出的室内图像的环境信息所推荐的与用户选择的至少一个家用电器或家具具有相同类型的推荐对象图像添加到移除区域，来经由显示器130显示获得的图像。
根据一个实施例，基于用户选择的家用电器是tv，从识别出的室内图像中移除tv图像，并且可以将与tv类型相对应的推荐对象图像添加到识别出的室内图像上的移除区域。在此，与tv类型相对应的推荐对象图像可以指代属于tv类型的多个产品(或型号)之一。例如，基于用户选择的家用电器是55英寸tv，处理器140可以从第一室内图像中移除tv，并且可以基于第一室内图像的环境信息提供65英寸tv作为推荐对象图像。处理器140可以将65英寸tv图像添加到已从第一室内图像移除了tv的区域。在此，第一室内图像的环境信息可以包括第一室内图像的背景颜色信息、亮度信息或空间尺寸信息中的至少一项。
根据另一个实施例，基于用户选择的家具是白色桌子，处理器140可以移除包括在第一室内图像中的桌子图像，并且可以通过向已移除桌子图像的移除区域进行添加来基于第一室内图像的背景颜色推荐黑色桌子。
根据本公开的一个实施例，处理器140可以将拍摄的图像的环境信息处理到获得的图像中，并且可以通过显示器130提供获得的图像。例如，处理器140可以用包括在利用相机120拍摄的图像中的“沙发”图像替代包括在识别的第一室内图像中的“沙发”图像。因此，通过将从服务器接收的第一室内图像用作背景并添加用户选择的家具或家用电器，处理器140可以获得添加有陈设在室内环境中的家具、家用电器、家庭装饰产品等的图像。然后，处理器140可以基于由相机120拍摄的图像的背景颜色信息、亮度信息、或空间尺寸信息中的至少一项来执行对获得的图像的渲染。
相应地，可以通过将拍摄的图像用作背景并添加用户选择的家具或家用电器来获得添加有陈设在室内环境中的家具、家用电器、家庭装饰产品等的图像。在此，陈设在室内环境中的家具、家用电器、家庭装饰品等的位置可以对应于包括在第一室内图像中的第二对象图像的位置。
根据本公开的一个实施例，处理器140可以基于在获得的图像中识别出未包括在拍摄的图像中的对象图像，与其余对象图像区分开地(或不同地)显示识别出的对象图像。例如，可以用包括在通过相机拍摄的图像中的“沙发”图像替代包括在第一室内图像中的“沙发”图像。在此，“灯架”图像包括在第一室内图像中，并且假设在拍摄的图像中没有“灯架”图像。处理器140可以将第一室内图像用作背景，因此“灯架”不会被移除并保持不变。处理器140可以显示未被不同于其余对象图像的第三对象图像替代的第二对象图像中保持不变的对象图像。例如，仅包括在第一室内图像中而不包括在拍摄的图像中的“灯架”可以被突出显示，而与包括在拍摄的图像中的“沙发”图像不同。然后，处理器140可以提供到与识别出的对象图像相对应的产品购买网站的链接。处理器140可以基于接收到对识别出的对象图像的选择命令来提供用于相关产品购买的网站，这将在图8中详细描述。
图2是示出了在图1中所示的显示设备的详细配置的框图。
参考图2，显示设备100可以包括通信接口110、相机120、显示器130、处理器140、存储器150、输入和输出接口160和用户接口170。关于图2所示的配置，将省略与图1所示的配置重叠的配置的详细描述。
通信接口110被配置为根据各种通信方法来执行与各种类型的外部装置的通信。通信接口110可以包括wi-fi模块111、蓝牙模块112、红外通信模块113、无线通信模块114等。在此，每个通信模块可以以至少一个硬件芯片的形式实现。
控制器140可以使用通信接口110执行与各种外部装置的通信。在此，外部装置可以包括诸如tv的显示设备、诸如机顶盒的图像处理设备、外部服务器、诸如遥控器的控制设备、诸如蓝牙扬声器的声音输出设备、照明设备、智能吸尘器、诸如智能冰箱的家用电器、诸如物联网(iot)家庭管理器的服务器等。
wi-fi模块111和蓝牙模块112可以通过wi-fi方法和蓝牙方法执行通信。基于使用wi-fi模块111或蓝牙模块112，首先发送和接收诸如ssid和会话密钥之类的各种连接信息，并且在使用它们进行通信连接之后，可以发送和接收各种信息。
红外通信模块113可以使用可见光和毫米波之间存在的红外线来根据近距离无线传输数据的红外数据协会(irda)技术执行通信。
除了上述通信方法之外，无线通信模块114可以包括用于根据诸如zigbee、第三代(3g)、第三代合作伙伴计划(3gpp)、长期演进(lte)、高级lte(lte-a)、第4代(4g)、第5代(5g)等各种无线通信规范来执行通信的至少一个通信芯片。
其他通信接口可以包括使用局域网(lan)模块、以太网模块或成对电缆、同轴电缆、光纤电缆等执行通信的有线通信模块中的至少一个。
根据一个实施例，通信接口110可以使用相同的通信模块(例如，wi-fi模块)与诸如遥控器的外部装置和外部服务器进行通信。
根据另一个实施例，通信接口110可以使用不同的通信模块(例如，wi-fi模块)与诸如遥控器的外部装置和外部服务器进行通信。例如，通信接口110可以使用以太网模块或wi-fi模块中的至少一个与外部服务器进行通信，并且可以使用bt模块与诸如遥控器的外部装置进行通信。然而，这仅是示例性的，并且在与多个外部装置或外部服务器进行通信时可以使用各种通信模块中的至少一个通信模块。
特别地，通信接口110可以从服务器接收关于多个室内图像和该多个室内图像中的每一个中包括的第二对象图像的信息，其中该服务器爬网并存储关于室内内部图像和室内内部图像中包括的对象的信息。同时，这仅是示例性的，并不限于此。例如，通信接口110可以根据处理器140的控制从外部服务器接收多个室内内部图像。然后，处理器140可以从接收到的多个室内图像获得关于包括在多个室内内部图像中的每一个中的第二对象图像的信息。
根据另一个实施例，在服务器(未示出)中执行根据本公开的各种实施例的获得图像的方法，并且显示设备100显示通过通信接口110接收的图像，从而向用户提供接收的图像。例如，显示设备100可以将关于用户选择的对象的信息发送到服务器。然后，服务器可以基于接收到的关于对象的信息来获得包括与相关对象具有相同类型的第一对象图像的多个图像。此外，服务器可以获得并存储关于包括在获得的多个图像中的每个图像中的第二对象图像的信息。然后，基于从显示设备100接收到拍摄的图像，服务器可以基于关于从拍摄的图像识别的第三对象图像和第二对象图像的信息，从多个图像中识别至少一个图像。服务器可以基于识别的图像、与用户选择的对象相对应的第四对象图像以及第三对象图像来生成图像，并且可以将生成的图像发送到显示设备100。然而，这仅是示例性的，上述步骤的一部分可以在服务器中执行，并且其余步骤可以在显示设备100处执行。
显示器130可以提供能够通过显示设备100提供的各种内容屏幕。在此，内容屏幕可以包括诸如图像、视频、文本、音乐等的各种内容、包括各种内容的应用执行屏幕、图形用户界面(gui)屏幕等。
可以以各种形式的显示面板来实现显示器，例如液晶显示器(lcd)、有机发光二极管(oled)、硅上液晶(lcos)、数字光处理(dlp)、微型led和量子点(qd)，但不限于此。此外，可以根据情况以柔性显示器、透明显示器等形式实现显示器。
另外，根据本公开的一个实施例，显示器不仅可以包括用于输出图像的显示面板，而且还可以包括容纳显示面板的边框。具体地，根据本公开的一个实施例，边框可以包括触摸传感器(未示出)以检测用户交互。
特别地，如下所述，显示器130可以显示多个室内图像、通过相机120拍摄的图像或由处理器140获得的图像中的至少一个。
同时，包括在显示设备100中的显示器130可以显示从图形处理单元生成的各种屏幕。显示设备100可以包括显示器130作为元件，但是可以通过向经由接口(未示出)连接的外部装置发送与屏幕相对应的信号，来通过外部装置的显示器显示各种屏幕。
处理器140使用存储在存储器150中的各种程序来控制显示设备100的整体操作。
具体地，处理器140包括ram141、rom142、主cpu143、第一接口144-1至第n接口144-n以及总线145。
ram141、rom142、主cpu143、第一接口144-1至第n接口144-n等可以通过总线145相互连接。
rom142存储用于引导系统的命令集等。基于输入了接通命令并且供电，主cpu143根据rom142中存储的命令将存储在存储器150中的o/s复制到ram141，并执行o/s以引导系统。当引导完成时，主cpu143将存储在存储器150中的各种应用程序复制到ram141，并执行复制到ram141的应用程序，以执行各种操作。
主cpu143访问存储器150，并使用存储在存储器150中的o/s执行引导。然后，使用存储在存储器150中的各种程序、内容数据等执行各种其他操作。
第一接口144-1至第n接口144-n连接到上述各种元件。这些接口之一可以是通过网络连接到外部装置的网络接口。
同时，处理器140可以执行图形处理功能(视图处理功能)。例如，处理器140可以使用计算单元(未示出)和渲染单元(未示出)生成包括各种对象(例如，图标、图像、文本等)在内的屏幕。在此，计算单元(未示出)可以基于接收到的控制命令，根据屏幕的布局计算诸如坐标值、形状、尺寸、颜色等的要由每个对象显示的属性值。此外，渲染单元(未示出)可以基于由计算单元(未示出)计算出的属性值，生成包括对象在内的各种布局的屏幕。此外，处理器140可以对视频数据执行各种图像处理，诸如解码、缩放、噪声过滤、帧速率转换、分辨率转换等。
同时，处理器140可以对音频数据执行处理。具体地，处理器140可以对音频数据执行各种处理，诸如解码或放大、噪声过滤等。
存储器150存储各种数据，例如用于操作显示设备100的操作系统(o/s)软件模块、各种多媒体内容等。
例如，存储器150可以被实现为包括在处理器140中的诸如rom(例如，电可擦除可编程只读存储器(eeprom))的内部存储器，或者被实现为与处理器140分离的存储器。在这种情况下，可以根据数据存储目的以嵌入在显示设备100中的存储器的形式或者以从显示设备100可拆卸的存储器的形式来实现存储器150。例如，操作显示设备100所需的数据可以存储在嵌入到显示设备的存储器中，而用于显示设备100的扩展功能的数据可以存储在能够附接到显示设备100并从显示设备100可拆卸的存储器中。同时，嵌入在显示设备100中的存储器可以被实现为以下项中的至少一个：易失性存储器(例如，动态ram(dram)、静态ram(sram)或同步动态ram(sdram)等)或非易失性存储器(例如，一次性可编程rom(otprom)、可编程rom(prom)、可擦除可编程rom(eprom)、电可擦除可编程rom(eeprom)、掩膜型rom、闪存型rom、闪速存储器(例如，nand闪存或nor闪存等)、硬盘驱动器或固态驱动器(ssd))，而能够附接到显示设备100并从显示设备100可拆卸的存储器可以被实现为存储卡(例如，紧凑式闪存(cf)、安全数字(sd)、微型安全数字(micro-sd)、迷你安全数字(mini-sd)、极限数字(xd)、多媒体卡(mmc)等)的形式。
输入和输出接口160可以是高清多媒体接口(hdmi)、移动高清链路(mhl)、通用串行总线(usb)、显示端口(dp)、thunderbolt，视频图形阵列(vga)端口、rgb端口、d超小型(d-sub)和数字视频接口(dvi)之中的一个接口。
输入和输出接口160可以输入和输出音频和视频信号中的至少一个。
根据一个实施例，输入和输出接口160可以包括作为单独端口的用于仅输入和输出音频信号的端口和用于仅输入和输出视频信号的端口，或者包括能够输入和输出音频信号和视频信号两者的一个端口。
用户接口170可以被实现为诸如按钮、触摸板、鼠标和键盘之类的设备，或者被实现为能够执行上述显示功能以及操纵输入功能的触摸屏。在此，按钮可以是形成在显示设备100的主体的外部的任意区域(例如，前表面部分、侧表面部分、后表面部分等)上的各种类型的按钮(例如，机械按钮、触摸板、滚轮等)。
显示设备100可以被实现为不具有显示器的设备，并且可以将视频信号发送到单独的显示设备。
同时，显示设备100可以从包括麦克风的外部装置接收用户语音信号。在这种情况下，接收到的用户音频信号可以是数字语音信号，但是根据一个实施例，也可以是模拟语音信号。根据一个实施例，显示设备100可以通过诸如蓝牙或wi-fi的无线通信方法来接收用户音频信号。在此，外部装置可以被实现为远程控制装置或智能电话。
为了识别从外部装置接收到的音频信号的音频，显示设备100可以将相关音频信号发送到外部服务器。
根据本公开的一个实施例，显示设备100可以发送从音频识别服务器接收的数字语音信号。在这种情况下，音频识别服务器使用语音到文本(stt)将数字语音信号转换为文本信息。在这种情况下，语音识别服务器可以将文本信息发送到不同的服务器或显示设备以执行与文本信息相对应的搜索，并且在某些情况下，执行直接搜索。
同时，根据本公开的另一个实施例，显示设备100可以将语音到文本(stt)功能直接应用于数字语音信号以转换为文本信息，并且可以将转换后的文本信息发送到外部服务器。
扬声器(未示出)可以是不仅输出由输入和输出接口160处理的各种音频数据，而且输出各种警报声音、音频消息等的元件。
同时，显示设备100还可以包括麦克风(未示出)。麦克风是用于接收用户语音或其他声音的输入以转换成音频数据的元件。
麦克风(未示出)可以在激活状态下接收用户语音。例如，麦克风可以在上侧或正面方向、侧面方向等上一体地形成为一体单元。麦克风可以包括各种配置，例如用于收集模拟格式的用户语音的麦克风、用于放大收集的用户语音的放大器电路、用于对放大的用户语音进行采样以转换为数字信号的a/d转换电路、用于从转换后的数字信号中去除噪声元素的滤波器电路等。即，当从包括在显示设备100中的麦克风接收到模拟格式的用户语音时，麦克风可以将用户语音转换为数字信号以发送到处理器140。然后，处理器140可以控制显示设备执行与数字信号相对应的操作。同时，以上是一个实施例，并不限于此。
根据另一个实施例，显示设备100可以从包括麦克风的外部装置(未示出)接收用户语音。例如，外部装置可以被实现为包括麦克风的远程控制装置(遥控器)，但是不限于此。在此，当远程控制装置(遥控器)通过麦克风接收到用户的模拟语音信号时，远程控制装置(遥控器)可以将模拟语音信号转换为数字语音信号。此外，远程控制装置(遥控器)可以使用红外、wi-fi或蓝牙通信方法中的至少一种将转换后的数字语音信号发送到显示设备100。当从外部装置接收到数字语音信号时，显示设备100基于接收到的数字语音信号来执行语音识别，并且可以基于语音识别的结果来执行控制操作。然而，根据另一个实施例，远程控制装置(遥控器)对数字语音信号执行语音识别操作，并且与语音识别的结果相对应的信息可以以发送到显示设备100的形式来实现。在此，与语音识别的结果相对应的信息可以是语音识别结果本身或对语音识别结果的控制命令中的至少一项。
同时，根据又一实施例，外部装置可以被实现为包括麦克风的智能电话。在这种情况下，智能电话使用远程控制应用来执行安装的远程控制功能以远程控制显示设备100。
当通过麦克风接收到用户的模拟语音信号时，智能电话可以将模拟语音信号转换为数字语音信号。在这种情况下，智能电话使用语音识别应用执行对数字语音信号的语音识别。在此，语音识别应用可以与上述远程控制应用相同或不同。当执行对数字语音信号的语音识别时，智能电话使用基于语音识别结果的远程控制应用来远程控制显示设备100。然而，根据另一个实施例，智能电话使用红外、wi-fi或蓝牙通信方法中的至少一种将转换后的数字语音信号发送到显示设备100。在这种情况下，当从外部装置接收到数字语音信号时，显示设备100基于接收到的数字语音信号执行语音识别，并且可以基于语音识别结果执行控制操作。
遥控器信号接收器(未示出)被配置为接收从遥控器发送的遥控器信号。遥控器信号接收器可以被实现为包括用于接收红外信号的光接收单元的形式或者通过根据诸如遥控器和蓝牙或wi-fi的无线通信协议执行通信来接收遥控器信号的形式。例如，遥控器信号接收器可以包括无线通信芯片。在此，无线通信芯片可以指代根据各种通信规范(例如，ieee、zigbee、第3代(3g)、第三代合作伙伴计划(3gpp)、长期演进(lte)、wi-fi、蓝牙等)执行通信的芯片。根据一个实施例，显示设备100可以通过遥控器信号接收器接收经由包括在遥控器中的麦克风输入的用户语音。
在此，遥控器信号接收器可以执行与遥控器的无线通信，并且可以从遥控器接收用户语音、控制命令等。例如，显示设备100可以通过遥控器信号接收器接收经由包括在遥控器中的麦克风输入的用户话语语音，但是不限于此。显示设备100可以经由遥控器信号接收器通过各种形式的通信方法来执行与遥控器的通信，并且可以接收用户语音、控制命令、数据、各种形式的信号等并将其发送到遥控器，但不限于此。显示设备100可以经由遥控器信号接收器通过各种形式的通信方法来执行与遥控器的通信，并且可以利用遥控器接收和发送用户语音、控制命令、数据、各种形式的信号等。
同时，根据一个实施例，显示设备100还可以包括调谐器和解调器。
调谐器(未示出)可以调谐用户选择的频道或通过用于接收射频(rf)广播信号的天线接收的rf广播信号的所有预先存储的频道。
解调器(未示出)接收从调谐器转换的数字if信号(dif)，并执行信道解码等。
图3a和图3b是根据本公开的一个实施例提供的对多个室内图像进行说明的视图。
参考图3a，显示设备100可以接收多个室内图像10-1、10-2和10-3，该多个室内图像包括与用户选择的至少一个家用电器或家具具有相同类型的第一对象图像。根据一个实施例，基于用户选择的家用电器是公司a的55英寸tv，显示设备100可以接收包括tv图像(即，与公司a的55英寸tv的类型相同)的多个室内图像10-1、10-2、10-3。根据另一个实施例，基于用户选择的家具是公司b的衣柜，显示设备可以接收包括衣柜(即，与公司b的衣柜的类型相同)的多个室内图像10-1、10-2、10-3。
根据本公开的一个实施例，显示设备100可以接收关于包括在多个室内图像10-1、10-2和10-3中的每一个中的第二对象图像的信息。根据一个实施例，可以接收关于灯架12-1和桌子12-2(即，包括在第一室内图像10-1中的第二对象图像)的信息。在此，第一室内图像10-1包括第一对象图像11-1。
另外，显示设备100可以接收关于桌子12-3(即，包括在第二室内图像10-2中的第二对象图像)的信息。此外，显示设备100可以接收关于第一相框图像12-4和第二相框图像12-5(即，包括在第三室内图像10-3中的第二对象图像)的信息。
在此，关于第二对象图像的信息可以包括识别的对象图像的数量、种类(或类型)、尺寸或颜色或在室内图像上的位置中的至少一项。例如，关于包括在第一室内图像10-1中的第二对象图像中的灯架12-1的信息可以包括灯架12-1的种类、颜色或尺寸或在第一室内图像10-1上的位置中的至少一项。
在此，灯架12-1在第一室内图像10-1上的位置可以参考(x，y)坐标信息。根据另一个实施例，灯架12-1的位置可以基于包括在第一室内图像10-1中的第一对象图像11-1来参考关于分开距离的信息，无论灯架12-1是被放置在左侧还是右侧等。
根据另一个实施例，关于包括在第三室内图像10-3中的第二对象图像的信息可以包括第一相框图像12-4和第二相框图像12-5的数量信息。此外，相应的第一相框图像12-4和第二相框图像12-5无论被定位在左侧还是右侧等，都可以基于第三室内图像10-3上的第一对象图像11-3来参考关于分开距离的信息。
参考图3b，显示设备100可以从通过相机120拍摄的图像中识别第三对象图像。在此，第三对象图像可以指代与位于室内内部的各种对象相对应的图像。例如，拍摄的图像可以包括与位于室内的多个相框相对应的第三对象图像21-1和21-2。同时，根据一个实施例，显示设备100可以识别与位于室内的各种形式的对象(例如，家具、家用电器、照明设备、家庭装饰产品等)相对应的第三对象图像。
根据本公开的一个实施例，显示设备100可以基于关于第三对象图像和接收的第二对象图像的信息从多个室内图像中识别一个室内图像。
根据本公开的一个实施例，显示设备100可以基于包括在多个室内图像10-1、10-2和10-3中的每一个中的第二对象图像的数量、尺寸或颜色中的至少一项信息以及在拍摄的图像中识别的第三对象图像的数量、尺寸或颜色之一来识别一个室内图像。
参考图3a和图3b，多个室内图像10-1、10-2和10-3中的第三室内图像10-3可以基于关于包括在第三室内图像10-3中的第一相框图像12-4和第二相框图像12-5以及在拍摄的图像中识别的第三对象图像21-1和21-2的信息，来识别第三室内图像10-3和拍摄的图像之间的相似度。
例如，基于关于包括在第三室内图像10-3中的第二对象图像的信息，显示设备100可以获得关于第一相框图像12-4和第二相框图像12-5两者的信息，例如第一相框图像12-4和第二相框图像12-5中的每一个的相应的尺寸、颜色、位置。然后，显示设备100可以基于从拍摄的图像中识别的第三对象图像来获得关于布置在室内环境中的两个相框的相应尺寸、颜色、位置的信息。然后，显示设备100可以基于获得的信息来识别第三室内图像10-3和拍摄的图像之间的相似度。通过这种方法，显示设备100可以识别第一室内图像10-1和拍摄的图像之间的相似度，并且识别第二室内图像和拍摄的图像之间的相似度。
根据本公开的一个实施例，显示设备100可以通过优先确定包括在室内图像中的第二对象图像的类型和数量以及包括在拍摄的图像中的第三对象图像的类型和数量来识别相似度。参考图3a和图3b，显示设备100可以根据关于包括在第三室内图像10-3中的第二对象图像和包括在拍摄的图像中的第三对象图像21-1和21-2的信息，从多个室内图像10-1、10-2和10-3中识别(或选择)第三室内图像。
然后，显示设备100可以用与用户选择的家用电器或家具中的至少一个相对应的第四对象图像22替代所识别的室内图像中的第一对象图像。根据一个实施例，基于用户选择的家用电器是来自公司a的65英寸tv，显示设备100从识别的第三室内图像10-3中移除tv图像，并且可以将与来自公司a的65英寸tv相对应的tv图像添加到移除区域。此外，显示设备100可以用第三对象图像21-1和21-2替代包括在识别的室内图像中的第二对象图像。例如，移除包括在识别的第三室内图像中的第一和第二相框图像12-4和12-5，并且可以将从拍摄的图像中识别的第三对象图像(例如，两个相框图像21-1和21-2)添加到移除区域。显示设备100用与用户选择的至少一个家用电器或家具相对应的第四对象图像22替代识别的室内图像中的第一对象图像11-3，并且用第三对象图像21-1和21-2替代包括在识别的室内图像中的第二对象图像12-4和12-5，以显示获得的图像20。
参考图3b，包括在室内的相框的位置和相框在通过显示设备100提供的获得的图像20上的位置可以不同。通过将识别的室内图像用作背景，显示设备100可以添加用户选择的家具或家用电器，并且获得添加有包括在室内环境中的家具、家用电器、家庭装饰产品等的图像。根据一个实施例，包括在室内图像中的家具、家用电器或家庭装饰产品的位置保持不变，而形状、颜色或尺寸可以被从通过相机110拍摄的图像获得的家具、家用电器或家庭装饰产品的形状、颜色或尺寸替代。
图4是根据本公开的一个实施例提供的对相似度进行说明的视图。
根据本公开的一个实施例的显示设备100，基于对从拍摄的图像识别的第三对象图像21-1、21-2和21-3中的至少一个输入了选择命令，优先确定第三对象图像中的与选择命令相对应的对象图像21-3和包括在多个室内图像10-1、10-2和10-3中的每一个中的第二对象图像之间的相似度，并且可以确定多个室内图像10-1、10-2和10-3中的每一个与拍摄的图像之间的相似度。
参考图4，可以从根据拍摄的图像识别的第三对象图像21-1、21-2和21-3中识别相框图像21-1和21-2以及花盆图像21-3。在此，基于输入了用户对花盆图像21-3的选择命令，显示设备100可以优先确定所选择的花盆图像21-3与包括在多个室内图像10-1、10-2和10-3中的每一个中的第二对象图像之间的相似度。例如，与花盆图像21-3相对应的布置在室内的花盆可能难以被用户移动，或者可能是被确定为对室内内部重要的对象。作为不同的示例，基于输入了用户对与必须考虑的对象(例如，支柱或内置书架)相对应的对象图像的选择命令，显示设备100可以优先确定与选择命令相对应的对象图像(例如，花盆图像21-3)和包括在室内图像中的第二对象图像之间的相似度。然后，可以用第三对象图像替代包括在室内图像中的第二对象图像。
例如，参考图4，显示设备100可以用由用户识别的对象图像(例如，花盆图像21-3)替代包括在识别的室内图像中的第二对象图像(例如，花盆图像)。
同时，根据一个实施例，基于用户选择的对象图像多于一个，优先确定所选择的多个对象图像以确定相似度。根据另一个实施例，可以存在用户选择的多个对象图像的优先顺序，并且显示设备100可以优先考虑所选择的多个对象图像的优先顺序中的最高顺序，以确定室内图像与拍摄的图像之间的相似度。
图5是根据本公开的一个实施例提供的对推荐的对象图像进行说明的视图。
根据本公开的一个实施例，基于从多个室内图像中识别出一个室内图像，显示设备100从识别的室内图像中移除第一对象图像，将基于识别的室内图像的环境信息所推荐的与用户选择的至少一个家用电器或家具具有相同类型的推荐对象图像添加到移除区域，以显示获得的图像。
例如，基于用户选择的家用电器是公司a的55英寸tv，显示设备100从识别的室内图像中移除tv图像，并且可以将基于识别的室内图像的环境信息所推荐的与tv相对应的推荐对象图像添加到移除区域。根据一个实施例，推荐对象图像可以是公司a的65英寸tv。
除了将与用户选择的家用电器相对应的第四对象图像添加到识别的室内图像之外，显示设备100还可以基于识别的室内图像的环境信息来提供推荐对象图像。
根据另一个实施例，基于用户选择的家用电器是公司a的黑色空调，显示设备100从识别的室内图像中移除空调图像，并且可以通过向移除区域进行添加来提供公司a的黑色空调图像。
尽管不限于此，但是显示设备100可以根据移除了空调图像的室内图像的环境信息将公司a的白色空调识别为推荐对象图像30，并且可以通过将识别的推荐对象图像30添加到室内图像来获得图像20。
根据又一个实施例，基于用户选择的家具是公司b的酒红色内置书架，显示设备100从识别的室内图像中移除内置书架图像，并且可以通过基于识别的室内图像的环境信息向移除区域进行添加来提供公司b的白色内置书架图像。
显示设备100可以将与用户选择的家用电器或家具相对应的第四对象图像添加到室内图像，并且也可以将与用户选择的家用电器或家具的类型相对应的第四对象图像添加到室内图像。
图6是根据本公开的一个实施例提供的对环境信息进行说明的视图。
根据本公开的一个实施例，显示设备100可以通过渲染向获得的图像提供拍摄的图像的环境信息。
例如，显示设备使用从服务器接收的室内图像作为背景，并且可以获得添加有用户选择的tv图像22和与包括在室内内部的相框相对应的第三对象图像21-1和21-2的图像。然后，可以将获得的图像的背景转换为拍摄的图像的环境信息。例如，可以假设室内图像10的背景颜色信息、亮度信息或空间尺寸信息不同于拍摄的图像的背景颜色信息、亮度信息或空间尺寸信息的情况。显示设备100可以用拍摄的图像的背景颜色信息、亮度信息或空间尺寸信息中的至少一项替代室内图像10的背景颜色信息、亮度信息或空间尺寸信息中的至少一项。
参考图6，可以假设室内图像10使用砖形墙纸作为背景并且室内内部包括图案填充墙纸的情况。显示设备100可以提供如图3b所示基于室内图像的背景移除或添加了对象图像的图像。根据另一个实施例，也可以提供如图6所示基于拍摄的图像的背景移除或添加了对象图像的图像。
根据本公开的一个实施例，显示设备100可以提供通过增强现实(ar)获得的图像。例如，在从相机120接收的实时取景图像中识别与布置在室内内部的对象相对应的对象图像，并且可以获得包括用户选择的家用电器的多个图像。然后，可以从获得的多个室内图像中移除与用户选择的家用电器具有相同类型的对象图像。例如，显示设备100可以从多个室内图像中的每一个中移除由用户选择的tv类型的对象图像。然后，显示设备100可以从多个室内图像中识别与拍摄的实时取景图像的相似度等于或大于阈值的室内图像。将与用户选择的家用电器相对应的对象图像(例如，tv图像)添加到识别的室内图像，并且可以用在拍摄了室内环境的实时取景图像中识别的对象图像替代其余对象图像。显示设备100可以生成并提供虚拟图像，在该虚拟图像中改变了布置在室内内部的对象(例如，家用电器、家具、家庭装饰产品等)的位置并且布置了所选择的家用电器或家具(例如，tv或桌子)。
参考图6，显示设备100可以基于拍摄了室内环境的图像中所包括的对象图像21-1、21-2和21-3，从多个室内图像中识别相似度等于或大于阈值的室内图像10。如图6所示，所识别的室内图像10可以包括相同类型的对象图像12-1、12-2和12-3。显示设备100优先确定对象图像的数量和类型，并且可以从多个室内图像中识别一个室内图像。例如，可以从多个室内图像中优先识别包括两个相框和一张桌子的室内图像。然后，可以基于两个相应相框的尺寸和桌子的尺寸来识别室内图像。然而，这仅是示例性的，并且还可以使用各种类型的应用编程接口(api)、图像搜索算法等，从多个室内图像中识别与拍摄的图像的相似度等于或大于阈值的至少一个室内图像。
图7是根据本公开的一个实施例提供的对列表进行说明的视图。
参考图7，显示设备100可以显示列表40，该列表40包括家用电器或家具的至少一项识别信息或至少一种安装类型。例如，显示设备100可以显示包括家用电器的识别信息或家用电器的安装类型在内的列表40。在此，家用电器的识别信息可以包括关于家用电器的类型、产品规格、产品名称、特征、制造商名称、尺寸等。家用电器的安装类型可以指家用电器的安装方法。例如，tv可以被分类为立式或壁挂式，而空调可以被分类为立式、壁挂式、系统式等。显示设备100可以显示包括家用电器的识别信息或安装类型中的至少一项在内的列表40。然后，基于相对于列表40输入了用户的选择命令，显示设备100可以接收包括与根据选择命令的家用电器相对应的第一对象图像在内的多个室内图像。
根据另一个实施例，家具的识别信息可以包括关于家具的类型、产品规格、产品名称、特征、制造商名称、尺寸、颜色、大小、是否具有存储空间等。家具的安装类型可以指家具的安装方法。例如，可以包括诸如关于安装家具等所需的可用空间的信息之类的信息。显示设备100可以显示包括家具的识别信息或安装类型中的至少一项在内的列表40。然后，基于输入了相对于列表40的用户选择命令，显示设备100可以接收包括与根据选择命令的家具相对应的第一对象图像在内的多个室内图像。
根据本公开的一个实施例，显示设备100从服务器接收列表40，并且可以显示接收的列表40。此外，基于用户输入了关键字，显示设备100可以基于关于相关关键字的搜索结果来生成并显示列表40。例如，基于用户输入了tv，显示设备100可以生成并显示公司a的55英寸tv、公司a的曲面tv、公司a的壁挂式tv等作为列表40。
图8是根据本公开的一个实施例提供的对采购网站链接进行说明的视图。
根据本公开的一个实施例，基于从获得的图像中识别出未包括在拍摄的图像中的对象图像，显示设备100可以与其余对象图像不同地显示识别出的对象图像。
根据一个实施例，显示设备100使用第一室内图像作为背景，添加用户选择的家具或家用电器，并且可以获得添加有包括在室内内部中的家具、家用电器、家庭装饰产品等的图像。显示设备100可以识别未包括在拍摄的图像中但包括在用作背景的第一室内图像中的对象图像。参考图8，桌子图像50可以包括在第一室内图像中，但是可以是未包括在拍摄的图像中的对象图像。可以假设没有在室内内部布置桌子的情况。
显示设备100可以从获得的图像中识别桌子图像50，并且可以与其余对象图像不同地显示识别的桌子图像。可以从识别的对象图像提供用于与识别的对象图像相对应的产品购买的网站链接。基于输入了对不同地显示的对象图像的选择命令，显示设备100可以显示与该对象图像相对应的产品购买网站。
例如，可以假设提供由用户获得的图像的情况。类似于图8的桌子图像50，可以通过获得的图像提供包括在室内图像中但未布置在室内环境中的对象图像。基于输入了对桌子图像50的选择命令，显示设备100可以提供与桌子图像相对应的桌子购买网站。
图9是根据本公开的一个实施例提供的对显示设备的控制方法进行说明的流程图。
根据本公开的一个实施例的显示设备的控制方法包括：接收关于包括与用户选择的对象具有相同类型的第一对象图像在内的多个图像和该多个图像中的每一个中包括的第二对象图像的信息(s910)。
然后，基于关于从拍摄的图像中识别的第三对象图像和关于接收的第二对象图像的信息，从多个图像中识别一个图像(s920)。
然后，基于识别的图像、与用户选择的对象相对应的第四对象图像以及第三对象图像来显示获得的图像(s930)。
在此，显示获得的图像(s930)是指用与用户选择的对象相对应的第四对象图像替代识别的图像中的第一对象图像，并且通过用第三对象图像替代包括在识别的图像中的第二对象图像来获得图像。
在此，关于接收的第二对象图像的信息可以包括关于多个图像中的每一个中所包括的第二对象图像的数量、尺寸或颜色中的至少一项的信息。
根据本公开的一个实施例，从多个图像中识别一个图像的操作(s920)基于从拍摄的图像中识别的第三对象图像的数量、尺寸或颜色中的至少一项来识别多个图像中的每一个与拍摄的图像之间的相似度，并且可以识别相似度等于或大于阈值的图像。
另外，从多个图像中识别一个图像的操作(s920)可以基于多个图像中的每一个的环境信息和拍摄的图像的环境信息来识别相似度。在此，环境信息可以包括背景颜色信息、亮度信息或空间尺寸信息中的至少一项。
另外，基于输入了对从拍摄的图像中识别的第三对象图像中的至少一个的选择命令，从多个图像中识别一个图像的操作(s920)包括：通过优先确定第三对象图像中的与选择命令相对应的对象图像和包括在多个图像中的每一个中的第二对象图像之间的相似度来识别多个图像中的每一个与拍摄的图像之间的相似度。
根据本公开的一个实施例，所述控制方法可以包括：通过向从识别的图像中移除了第一对象图像的区域添加基于从多个图像中识别的图像的环境信息所推荐的与用户选择的对象具有相同类型的推荐对象图像来获得图像。
另外，显示获得的图像(s930)可以包括通过将拍摄的图像的环境信息处理到获得的图像来进行显示。
根据本公开的一个实施例，所述控制方法可以包括：显示包括对象的识别信息或安装类型中的至少一项在内的列表。
另外，接收操作(s910)包括：从服务器接收关于多个图像和多个图像中的每一个中包括的第二对象图像的信息，该服务器爬网并存储关于包括在室内图像中的对象和室内图像的信息。
基于从获得的图像中识别出未包括在拍摄的图像中的对象图像，根据本公开的一个实施例，显示图像的操作(s930)可以包括：与其余对象不同地显示识别出的对象图像并在识别出的对象图像中提供用于与识别出的对象图像相对应的产品购买的网站链接。
同时，根据上述本公开的各种实施例的方法可以被实现为能够安装到现有电子设备的应用的形式。
另外，根据上述本公开的各种实施例的方法可以被实现为用于现有电子设备的软件升级或仅被实现为硬件升级。
另外，可以通过包括在电子设备中的嵌入式服务器或者通过电子设备或显示设备中的至少一个的外部服务器来执行上述本公开的各种实施例。
同时，根据本公开的一个实施例，上述各种实施例可以被实现为包括存储在由机器(例如：计算机)可读的机器可读存储介质中的命令的软件。机器从机器可读存储介质调用所存储的命令，并且可以包括根据所公开的实施例的电子设备(例如：显示设备100)，作为能够根据调用的命令进行操作的设备。基于处理器执行了命令，处理器直接地或在处理器的控制下使用其他配置来执行与命令相对应的功能。命令可以包括由编译器或解释器生成或执行的代码。机器可读存储介质可以以非暂时性机器可读介质的形式提供。在此，“非暂时性”是指不包含信号的机器可读存储介质，并且仅是指有形的，不对半永久性地或临时性地存储数据进行区分。
另外，根据本公开的一个实施例，根据上述各种实施例的方法可以被提供包括在计算机程序产品中。计算机程序产品可以在卖方和买方之间进行交易。可以以机器可读存储介质的形式(例如：以致密盘只读存储器(cd-rom)的形式)、或者通过应用商店(例如：playstoretm)在线地分布计算机程序产品。在在线分布的情况下，计算机程序产品的至少一部分可以被临时存储或临时生成在诸如中继服务器的存储器之类的机器可读存储介质上。
另外，根据上述各种实施例的每个元件(例如：模块或程序)可以被配置为单个实体或多个实体，并且可以省略上述子元件中的一部分子元件，或者可以在各种实施例中进一步包括其他子元件。通常或附加地，元件(例如：模块或程序)的一部分可以被集成为一个实体，并且可以执行与集成之前由每个相应元件所执行的功能相同或相似的功能。由根据各种实施例的模块或程序或其他元件执行的操作可以连续地、并行地、重复地或启发式地执行，或者以不同的顺序执行至少一部分操作，省略至少一部分操作，或添加不同的操作。
虽然已经参考本公开的示例性实施例示出和描述了本公开，但是本公开不限于具体描述的实施例，并且在不脱离本公开的精神和范围的情况下，本公开所属领域的技术人员可以在其中进行各种修改，并且这样的修改不应被理解为与本公开的技术构思或观点分开。
1.一种显示设备，包括：
通信接口；
相机；
显示器；以及
处理器，被配置为：
接收关于多个图像的信息，所述信息包括关于与用户选择的对象相对应的第一对象图像的信息以及关于包括在所述多个图像中的第二对象图像的信息，
获得通过所述相机拍摄的图像，所述拍摄的图像包括对象的第三对象图像，
基于关于所述第三对象图像的信息和所接收的关于所述第二对象图像的信息，从所述多个图像中识别一个图像，以及
控制所述显示器基于识别的图像、与所述用户选择的对象相对应的第四对象图像和包括在所述拍摄的图像中的所述第三对象图像来显示获得的图像。
2.根据权利要求1所述的显示设备，其中，在所述控制中，所述处理器用所述第四对象图像替代所述多个图像中所识别的一个图像中的所述第一对象图像，并且用所述第三对象图像替代所述第二对象图像，以显示所述获得的图像。
3.根据权利要求1所述的显示设备，其中，所接收的关于所述第二对象图像的信息包括关于包括在所述多个图像中的每一个中的所述第二对象图像的数量、尺寸或颜色的信息中的至少一项，并且
其中，所述处理器基于在所述拍摄的图像中识别的所述第三对象图像的数量、尺寸和颜色中的至少一项来识别所述多个图像中的每一个与所述拍摄的图像之间的相似度，并且识别所述多个图像中相似度为阈值或更高值的一个图像。
4.根据权利要求3所述的显示设备，其中，所述处理器基于所述多个图像中的每一个的环境信息和所述拍摄的图像的环境信息来识别所述相似度，并且
其中，所述环境信息包括背景颜色信息、亮度信息或空间尺寸信息中的至少一项信息。
5.根据权利要求3所述的显示设备，其中，基于输入了关于从所述拍摄的图像中识别的至少一个第三对象图像的选择命令，所述处理器优先确定所述第三对象图像中的与所述选择命令相对应的对象图像和包括在所述多个图像中的每一个中的所述第二对象图像之间的相似度，以识别所述多个图像中的每一个与所述拍摄的图像之间的相似度。
6.根据权利要求1所述的显示设备，其中，所述处理器控制所述显示器通过向从识别的图像中移除了所述第一对象图像的区域添加与所述用户选择的对象具有相同类型的推荐对象图像来显示获得的图像，其中所述推荐对象是基于在所述多个图像中识别的图像的环境信息所推荐的。
7.根据权利要求1所述的显示设备，其中，所述处理器处理所述拍摄的图像的环境信息以通过所述显示器显示所述获得的图像，并且
其中，所述拍摄的图像的环境信息包括所述拍摄的图像的背景颜色信息、亮度信息或空间尺寸信息中的至少一项。
8.根据权利要求1所述的显示设备，其中，所述处理器控制所述显示器显示包括所述对象的识别信息或安装类型中的至少一项在内的列表。
9.根据权利要求1所述的显示设备，其中，所述处理器从服务器接收关于所述多个图像和关于所述多个图像中的每一个中包括的所述第二对象图像的信息，所述服务器爬网并存储关于室内图像和所述室内图像中包括的对象的信息。
10.根据权利要求1所述的显示设备，其中，基于从所述获得的图像中识别出未包括在所述拍摄的图像中的对象图像，所述处理器以与其余对象图像区分开的方式显示所识别出的对象图像，并且向所识别出的对象图像提供与所识别出的对象图像相对应的相关网站信息。
11.一种包括处理器的显示设备的控制方法，包括：
接收关于多个图像的信息，所述信息包括关于与用户选择的对象相对应的第一对象图像以及关于包括在所述多个图像中的第二对象图像的信息；
获得包括对象的第三对象图像在内的拍摄的图像；
基于关于所述第三对象图像的信息和所接收的关于所述第二对象图像的信息，从所述多个图像中识别一个图像；以及
基于所述多个图像中所识别的一个图像、与所述用户选择的对象相对应的第四对象图像和包括在所述拍摄的图像中的所述第三对象图像来显示获得的图像。
12.根据权利要求11所述的控制方法，其中，显示所述获得的图像包括：用与所述用户选择的对象相对应的所述第四对象图像替代所述多个图像中所识别的一个图像中的所述第一对象图像，并且用所述第三对象图像替代所述第二对象图像，以显示所述图像。
13.根据权利要求11所述的控制方法，其中，所接收的关于所述第二对象图像的信息包括关于包括在所述多个图像中的每一个中的所述第二对象图像的数量、尺寸或颜色的信息中的至少一项，并且
其中，从所述多个图像中识别一个图像包括：基于从所述拍摄的图像中识别的所述第三对象图像的数量、尺寸或颜色中的至少一项来识别所述多个图像中的每一个与所述拍摄的图像之间的相似度，并且识别所述多个图像中相似度为阈值或更高值的一个图像。
14.根据权利要求13所述的控制方法，
其中，从所述多个图像中识别一个图像包括：基于所述多个图像中的每一个的环境信息和所述拍摄的图像的环境信息来识别所述相似度，并且
其中，所述环境信息包括背景颜色信息、亮度信息或空间尺寸信息中的至少一项信息。
15.根据权利要求13所述的控制方法，
其中，从所述多个图像中识别一个图像包括：基于输入了对从所述拍摄的图像选择的所述第三对象图像之一的选择命令，优先确定所述第三对象图像中的与所述选择命令相对应的对象图像和包括在所述多个图像中的每一个中的所述第二对象图像之间的相似度，并且识别所述多个图像中的每一个与所述拍摄的图像之间的相似度。
技术总结