半岛真人电子设备和操作电子设备的方元件法

2023-04-06 09:10:45

　　【专利摘要】提供了一种电子设备。该电子设备包括：存储器，配置为存储多个数字图像；以及处理器，其中处理器跟踪多个数字图像中识别到的对象的移动，并且处理器检测多个数字图像之间的移动量，并基于移动量的至少一部分在多个对象跟踪方法之中选择一个对象跟踪方法。

　　[0001]本公开涉及电子设备和操作电子设备的方法。更具体地，本公开涉及一种电子设备和操作电子设备的方法，能够在电子设备中稳定地跟踪图像数据中的对象。

　　[0002]增强现实(AR)是一种将用户用眼睛观看到的真实世界对象与虚拟对象交叠并然后显示的技术。由于实时地示出通过向真实世界图像添加虚拟世界而获得的具有附加信息的视频，AR是指混合现实(MR)。尽管作为用虚拟世界补充真实世界的构思的AR使用计算机图形实现的虚拟环境，但是AR对真实世界环境起到主导作用。计算机图形服务用于附加地提供真实世界环境所需的信息。虚拟现实技术允许用户专注于虚拟环境，使得用户不能观看到真实世界环境。然而，通过将真实环境与虚拟对象混合而实现的AR技术允许用户观看到真实环境，以便提供对现实和附加信息的更好感知。

　　[0003]相应地，需要一种电子设备和操作电子设备的方法，可以在电子设备中稳定地跟踪图像数据中的对象。

　　[0004]以上信息仅被提供用作辅助对本公开的理解的背景信息。任何以上信息未被确定或断言为本公开的现有技术。

　　[0005]本公开的方面在于解决至少上述问题和/或缺点并提供至少下述优点。因此，本公开的方面在于提供一种电子设备和操作电子设备的方法，能够在电子设备中稳定地跟踪图像数据中的对象。

　　[0006]频繁地开发用于在便携式电子设备中执行的增强现实(AR)。由于人们可以容易地携带便携式电子设备，因此经常发生感兴趣对象快速移动的情况。在这种情况下，由于图像数据中会出现模糊，因此难以跟踪感兴趣对象，使得合成的三维(3D)信息可能消失。

　　[0007]根据本公开的一个方面，提供了一种电子设备和操作电子设备的方法，可以在电子设备中稳定地跟踪图像数据中的对象。

　　[0008]根据本公开的另一方面，提供了一种电子设备。所述电子设备包括:存储器，配置为存储多个数字图像；以及处理器，其中处理器跟踪多个数字图像中识别到的对象的移动，并且处理器检测多个数字图像之间的移动量，并基于移动量的至少一部分在多个对象跟踪方法之中选择一个对象跟踪方法。

　　[0009]根据本公开的另一方面，提供了一种电子设备。所述电子设备包括:存储器，配置为存储多个数字图像；以及处理器，其中处理器跟踪多个数字图像中识别到的对象的移动，并且处理器确定以下(i)和(ii)中的至少一个:(i)确定多个数字图像是否满足至少一个第一条件，以及(ii)确定电子设备的状态是否满足至少一个第二条件，并且处理器基于确定结果的至少一部分在多个对象跟踪方法中选择一个对象跟踪方法。

　　[0010]根据本公开的另一方面，提供了一种操作电子设备的方法。该方法包括:跟踪从多个数字图像中识别到的对象的移动，其中，跟踪移动包括:检测多个数字图像之间的移动量，并且基于移动量的至少一部分在多个对象跟踪方法中选择一个对象跟踪方法。

　　[0011]根据本公开的另一方面，提供了一种操作电子设备的方法。该方法包括:根据多个数字图像中识别到的对象的移动，其中跟踪移动包括以下⑴和(ii)中的至少一个:(i)确定多个数字图像是否满足至少一个第一条件，以及(ii)确定电子设备的状态是否满足至少一个第二条件；并且跟踪移动还包括:基于确定结果的至少一部分在多个对象跟踪方法中选择一个对象跟踪方法。

　　[0012]通过以下结合附图公开了本公开多个实施例的详细描述，本公开的其他方面、优点和显著特征对于本领域技术人员将显而易见。

　　[0013]根据结合附图的以下详细描述，本公开特定实施例的上述和其他方面、特征以及优点将更清楚，附图中:

　　[0017]图4示出了根据本公开实施例的在电子设备中用于跟踪图像数据中的对象的跟踪单元的配置；

　　[0018]图5是示出了根据本公开实施例的在电子设备中用于跟踪图像数据中的对象的操作的流程图；

　　[0019]图6是示出了根据本公开实施例的在电子设备中用于跟踪图像数据中的对象的跟踪单元的配置；以及

　　[0020]图7、8和9示出了根据本公开多个实施例的在电子设备中用于跟踪图像数据中的对象的操作的流程图；

　　[0021]贯穿附图，将理解相同附图标记用于表示相同或类似部件、组件和结构。

　　[0022]提供参考附图的以下描述来辅助对由权利要求及其等同物限定的本公开多个实施例的全面理解。以下描述包括各种具体细节以辅助理解，但这些具体细节应仅被示为示例性的。因此，本领域普通技术人员将认识到，可以在不脱离本公开范围和精神的情况下对这里描述的多个实施例进行各种改变和修改。此外，为了清楚和简明起见，省略了公知功能和结构的描述。

　　[0023]以下描述和权利要求中使用的术语和词语不限于其字面含义，而是仅由发明人用于使能对本公开的清楚一致的理解。因此，本领域技术人员应当清楚，对本公开多个实施例的以下描述仅被提供用于说明目的，而不意在限制由所附权利要求及其等同物限定的本公开。

　　[0024]应理解，除非上下文明确指出，否则单数形式的“一”、“一种”和“该”包括复数对象。因此，例如对“组件表面”的引述包括对一个或多个这种表面的引述。

　　[0025]根据本公开多个实施例的电子设备可以是包括通信功能的设备。例如，电子设备可以是以下一个或多个的组合:智能电话、平板个人计算机、移动电话、视频电话、电子书(e-book)阅读器、台式个人计算机、膝上型个人计算机、笔记本计算机、个人数字助理(PDA)、便携式多媒体播放器(PMP)、MP3播放器、移动保健器械、电子手链、电子项链、电子配饰、摄像机、可佩带设备、电子钟、腕表、家用电器(例如，冰箱、空调系统、吸尘器、烤箱、微波炉、洗衣机、空气净化器等)、人工智能机器人、电视(TV)、数字视频盘(DVD)播放器、音频系统、多种医疗器械(例如，磁共振血管造影(MRA)、磁共振成像(MRI)、计算机断层扫描(CT)、断层扫描摄像机、超声设备等)、导航系统、全球定位系统(GPS)接收机、事件数据记录器(EDR)、飞行数据记录器(FDR)、机顶盒、半岛真人TV盒(例如， HomeSync?、AppleTV?、或Google TV?)、电子词典、车载信息娱乐系统、舰载电子设备(例如，舰载导航系统、罗经等)、航空设备、安全设备、电子布(cloth)、电子钥匙、摄像录像机、游戏控制台、头戴式显示器(HMD)、平板显示设备、电子相框、电子相册、包括通信功能的部分家具、建筑物/结构、电子板、电子签名接收设备、可佩带设备、投影仪。本领域普通技术人员将清楚根据本公开多个实施例的电子设备不限于上述设备。

　　[0027]参考图1，供电单元110可以在供电管理单元111的控制下，向置于电子设备100壳体中的一个或多个电池(未示出)供电。一个或多个电池(未示出)可以对电子设备100供电。此外，供电单元110可以供应通过连接到电子设备100的连接器的有线线缆从外部电源(未示出)输入的电力。此外，供电单元110可以向电子设备100供给通过无线充电技术从外部电源无线的控制下，控制向电子设备100供应供电单元110的电力，或向供电单元Iio供应从外部电源输入的电力。

　　[0029]通信单元112可以在处理器115的控制下，通过使用至少一个或多个天线(未示出)，允许电子设备100通过移动通信与外部电子设备相连接。

　　[0030]通信单元112可以包括无线局域网(WLAN)单元和短距离通信单元中的至少一个。例如，通信单元112可以仅包括WLAN单元,仅包括短距离通信单元,或者包括无线LAN单元和短距离通信单元二者。WLAN单元可以在处理器115的控制下，在安装无线接入点(AP)(未示出)的位置中接入互联网。WLAN单元可以支持电气和电子工程师协会(IEEE)的无线短距离通信单元可以在处理器115的控制下，无线地执行短距离通信。短距离通信可以包括蓝牙、红外数据协会(IrDA)通信、WiFi直连通信、近场通信(NFC)等。

　　[0031]通信单元112可以包括GPS单元，GPS单元可以通过从地球轨道中的多个GPS卫星(未示出)接收无线电波并使用从GPS卫星(未示出)到电子设备100的到达时间来计算电子设备100的位置。

　　[0032]RF单元113可以向便携式电话(未示出)、智能电话(未示出)、平板PC(未示出)或电线的其它设备(未示出)发送/从其接收用于语音呼叫、视频呼叫、短消息服务(SMS)、或多媒体消息服务(MMS)的无线可以包括:只读存储器(R0M)，存储用于控制中央处理单元(CPU)、图形处理单元(GPU)和电子设备100的控制程序；以及随机存取存储器(RAM)，用于存储从电子设备100的外部输入的信号或数据，或用作针对电子设备100中执行的操作的存储空间。CPU可以包括单核、双核、三核、或四核。CPU、ROM和RAM可以通过内部总线、通信单元112、RF单元113、第一存储器116和第二存储器117、音频处理单元118、输入单元119、显示单元120、摄像机单元121和传感器单元122。

　　[0035]处理器115可以包括将输入数据处理为增强现实(AR)数据的增强现实(AR)单元200，并且AR单元200可以不包括在处理器115中而可以分离地配置半岛真人。以下参考图2至5更详细地描述AR单元200的配置。

　　[0036]根据本公开的多个实施例，处理器115可以将第一存储器116中存储的图像数据处理成可以以AR模式显示的3D图像数据。

　　[0037]根据本公开的实施例，处理器115可以检测图像数据之间的移动量，并且基于移动量的至少一部分在多个对象跟踪方法之中选择一个对象跟踪方法。

　　[0038]多个对象跟踪方法可以包括第一对象跟踪方法和第二对象跟踪方法，并且第一对象跟踪方法需要比第二对象跟踪方法更多的计算量。

　　[0039]在本公开的多个实施例中，第一对象跟踪方法可以包括描述符匹配方法，第二对象跟踪方法可以包括补片匹配方法。

　　[0040]根据本公开的多个实施例，处理器115可以配置为当移动量等于或近似零时省略对象的跟踪。

　　[0041]根据本公开的另一实施例，处理器115确定图像数据是否满足一个或多个第一条件和/或电子设备的状态是否满足一个或多个第二条件，并且基于确定结果的至少一部分在多个对象跟踪方法之中选择一个对象跟踪方法。

　　[0042]根据本公开的另一实施例，处理器115可以包括用于确定图像数据的移动量和/或照度是否高于一个或多个选定阈值的配置作为第一条件。

　　[0043]根据本公开的另一实施例，处理器115可以包括用于确定电子设备中包括的电池的剩余电荷量和/或电子设备测量的照度是否高于一个或多个选定阈值的配置作为第二条件。

　　[0044]第一存储器116可以在处理器115的控制下，存储对应于通信单元112、RF单元113、输入单元119、摄像机单元121、传感器单元122和用作触摸屏单元的显示单元120的操作而输入/输出的信号或数据。第一存储器116可以存储应用和用于控制电子设备100或处理器115的控制程序。第一存储器116可以存储数字图像数据。

　　[0045]第二存储器117可以是可以从电子设备100拆卸或插入到电子设备100中的外部存储器，且可以存储对应于通信单元112、RF单元113、输入单元119、摄像机单元121、传感器单元122和用作触摸屏单元的显示单元120的操作而输入/输出的信号或数据。

　　[0046]音频处理单元118可以包括:发送器，编码并调制要发送的信号，以及接收器，解码并解调接收信号，并且音频处理单元118可以由调制器/解调器(调制解调器)和编码器/解码器(编解码器)来配置。编解码器可以包括用于处理分组数据的数据编解码器和用于处理例如语音等音频信号的音频编解码器。音频处理单元118可以向连接到电子设备100的扬声器或耳机输出由音频编解码器输出的接收音频信号，或通过音频编解码器向处理器115发送由麦克风或接收器产生的发送音频信号。

　　[0047]输入单元119可以执行由用户向用作触摸屏单元的显示单元120输入的触摸输入，以及使用触摸笔的触摸输入。

　　[0048]输入单元119可以从用户接收按键输入以控制电子设备100。输入单元119可以包括在电子设备100中形成的物理键盘(未示出)和在用作触摸屏单元的显示单元120上显示的虚拟键盘(未示出)。可以根据电子设备100的性能或结构排除在电子设备100中形成的物理键盘。

　　[0049]显示单元120可以使用液晶显示器(IXD)面板，在这种情况下显示单元120可以包括LCD控制器、用于存储视频数据的存储器和LCD元件等。当按照触摸屏方案实现LCD时，显示单元120可以作为输入单元操作，并同时可以在显示单元120上显示虚拟键盘。此夕卜，当按照触摸屏方案实现显示单元120使得显示单元120用作触摸屏单元时，触摸屏单元可以由包括多个传感器面板的触摸屏面板(TSP)形成，并且多个传感器面板可以包括可以识别手触摸的电容型传感器面板和可以检测触摸笔的精细触摸的电磁型传感器面板。

　　[0050]摄像机单元121对应于用于产生图像的设备，并且可以包括用于在处理器115的控制下拍摄静止图像和视频的第一摄像机和第二摄像机中的至少一个。此外，第一摄像机或第二摄像机可以包括用于提供拍摄所需的光量的辅助光源(例如，闪光灯(未示出))。第一摄像机可以置于电子设备100的正面，而第二摄像机可以置于电子设备100的背面。备选地，第一摄像机和第二摄像机彼此相邻地设置(例如，第一摄像机和第二摄像机之间的间隔可以宽于Icm并窄于8cm)，以捕获3D静止图像或3D视频。

　　[0051]传感器单元122可以包括用于检测电子设备100的状态的至少一个传感器。例如，传感器单元122可以包括用于检测用户是否接近电子设备100的接近传感器、用于检测电子设备100的环境光量的照度传感器(未示出)、用于检测电子设备100的操作(例如，电子设备100的旋转、施加到电子设备100的加速度或振动)的运动传感器(未示出)、用于使用地球磁场检测罗盘指向的地磁传感器(未示出)、用于检测重力作用方向的重力传感器或用于通过测量大气压来检测高度的高度计。至少一个传感器可以检测状态，产生与检测相对应的信号，并且向处理器115发送产生的信号。可以根据电子设备100的性能添加或去除传感器单元122的传感器。

　　[0054]AR处理单元210对应于AR系统的主要单元，并且可以从电子设备100中包括的摄像机单元、媒体单元(未示出)、音频单元、或传感器单元中的至少一个接收输入数据。AR处理单元210可以利用电子设备100的其它组件，例如，存储器、半岛真人CPU或GPU，来执行对输入数据的AR处理。为了识别输入数据中的目标，AR处理单元210可以使用其中存储了参考数据的高速缓存230、本地参考数据库(DB) 250或远程参考DB270，来处理输入数据并向AR内容管理单元220输出通过处理输入数据而获得的结果数据。

　　[0055]AR处理单元210可以将从摄像机单元121接收的图像数据、从媒体单元接收的图像数据和音频数据和从音频处理单元接收的音频数据处理为用于AR的数据。依据从传感器单元122接收的传感器数据的类型，AR处理单元210可以在通过检测到电子设备100的移动将电子设备100的执行模式转换到AR模式时，或在AR模式下输出图像数据和音频数据时,产生振动。[0056]处理输入数据而获得的结果数据可以包括针对输入数据的目标的识别信息和本地(local)信息。当目标是图像数据时，可以使用本地信息来确定2D姿态或3D姿态，并且可以使用识别信息来确定目标对象的类型。

　　[0057]AR内容管理单元220可以在本地内容DB260或远程内容DB中检测与通过处理输入数据而获得的结果数据相对应的内容，并基于检测的内容配置视频/音频输出数据，以输出视频和音频输出数据。

　　[0058]在本公开多个实施例中，可以作为示例描述为AR处理单元210提供通过摄像机单元121接收的输入图像数据作为AR图像数据。

　　[0059]在根据本公开多个实施例的电子设备中，尽管已经作为示例描述了处理器中包括的AR单元执行AR处理，但是处理器可以执行与AR单元相同的功能。

　　[0061]参考图3，AR处理单元210可以包括识别单元311、初始姿态计算单元312和跟踪单元313。可以将输入图像数据输出给识别单元311或跟踪单元313，且识别单元311和跟踪单元313可以并行地执行输出。

　　[0062]识别单元311可以基于参考图像数据的至少一部分来识别输入图像数据上的对象。识别单元311可以使用电子设备100的内部存储设备或外部存储设备中存储的参考图像数据来识别对象。例如，人脸识别可以需要外部参考人脸数据库以便识别经认证人脸并且识别与经认证人脸不同的人脸。同时，通常，对于QR码识别，仅需要一些特定规则，在一般情况下，不需要动态更新规则。因此，可以提供针对QR码的电子设备内部参考数据。

　　[0063]初始姿态计算单元312可以计算通过检测输入图像数据中感兴趣点而识别的对象的初始姿态。

　　[0064]跟踪单元313可以动态跟踪通过摄像机单元121顺序接收的一个或多个输入图像数据的每个中的对象的姿态改变。

　　[0065]跟踪单元313可以从初始姿态计算单元312获取初始信息，通过该初始信息可以跟踪输入图像数据的对象的初始位置。其后，跟踪单元313可以通过持续地跟踪顺序接收的每个输入图像数据中的对象，来动态计算对象的姿势改变。

　　[0066]跟踪单元313可以输出指示对象类型的识别信息和对对象姿态加以指示的本地信息，对象存在于顺序接收的输入图像数据中。

　　[0067]根据本公开的实施例，跟踪单元313可以检测图像数据之间的移动量，并且基于移动量的至少一部分在多个对象跟踪方法之中选择一个对象跟踪方法。

　　[0068]多个对象跟踪方法可以包括第一对象跟踪方法和第二对象跟踪方法，并且第一对象跟踪方法可以需要比第二对象跟踪方法更多的计算量。

　　[0069]在本公开的多个实施例中，第一对象跟踪方法可以包括描述符匹配方法，第二对象跟踪方法可以包括补片匹配方法。

　　[0070]描述符匹配方法对应于以下方法:提取与感兴趣点周围区域的多种改变(例如，模糊、视点改变和照度改变)无关的特征；使用提取的特征来执行匹配；并且在快速移动或照度改变中较强(strong)。描述符匹配方法的典型算法可以包括标度不变特征变换(SIFT)算法、加速鲁棒特征(SURF)算法、二进制鲁棒无关基本特征(BRIEF)算法等。在描述符匹配方法中，由于将参考图像数据处理为在多种改变中较强，因此可以在当前图像数据与参考图像数据之间的正确位置或在当前图像数据与参考图像数据之间的外围位置处执行匹配。

　　[0071]补片匹配方法对应于以下方法:不对感兴趣点周围的局部区域进行处理，而是通过按原状使用局部区域来执行匹配，以具有更高精度。在补片匹配方法中，由于按原状使用参考图像数据的局部区域，因此可以在当前图像数据与参考图像数据之间执行精度相当高的匹配。当通过补片匹配方法将当前图像数据的感兴趣点与参考图像数据的感兴趣点精确匹配时，稍后要计算的参考图像数据的3D位置可以较精确，并且抖动级别可以较低。补片匹配方法可以通过使用预期姿态执行匹配的仿射翅曲(affine warping)或投影翅曲(projective warping),来提高匹配性能。

　　[0072]可以在参考图像数据与当前输入图像数据之间或者在先前输入图像数据与当前输入图像数据之间执行补片匹配方法的匹配处理。

　　[0073]根据本公开的实施例，当移动量高于第一阈值时，跟踪单元313可以选择第一对象跟踪方法，否则跟踪单元313可以选择第二对象跟踪方法。

　　[0074]根据本公开的实施例，跟踪单元313可以配置为在移动量等于或近似零时省略对象的跟踪。

　　[0075]以下参照图4描述跟踪单元基于移动量的至少一部分在多个对象跟踪方法之中选择一个对象跟踪方法，来跟踪图像数据中的对象的配置。

　　[0076]图4示出了根据本公开实施例的在电子设备中用于跟踪图像数据中的对象的跟踪单元的配置。

　　[0077]参照图4,跟踪单元313可以包括姿态预期单元(未示出)、移动量估计单元401、跟踪方法选择单元402、描述符匹配单元403、补片匹配单元404、和姿态估计单元405。

　　[0078]姿态预期单元可以根据通过一个或多个先前输入图像数据中的每一个而估计的对象姿态预期稍后要输入的图像数据中的对象姿态。

　　[0079]移动量估计单元401可以测量当前输入图像数据与先前输入图像数据之间的对象移动量，并且向跟踪方法选择单元402发送测量的移动量。可以按照多种方法测量对象的移动量。例如，可以针对先前输入图像数据和当前输入图像数据，使用傅立叶变换，通过相位相关计算来获得移动量。此外，例如，移动量可以通过电子设备的运动传感器(例如，加速度计传感器、陀螺仪传感器和罗盘传感器)的测量值改变来计算，并且可以通过光学流计算来获得。此外，例如，当使用图像数据通过计算来获得测量值时，也可以针对整个图像数据来计算移动量，并且可以仅限于整个图像的对象来计算移动量数据。此外，例如，当一个图像数据中包括多个感兴趣对象时，可以在将图像数据划分成针对每个对象的部分图像数据的同时，分别计算移动量。

　　[0080]跟踪方法选择单元402可以根据从移动量估计单元401接收的移动量，选择描述符匹配方法作为第一对象跟踪方法，或者选择补片匹配方法作为第二对象跟踪方法。

　　[0081]当移动量等于或近似零时，跟踪方法选择单元402可以省略对象跟踪操作。当移动量高于用于比较移动量而先前选择的阈值Mt时，跟踪方法选择单元402可以选择描述符匹配方法。此外，当移动量不高于先前选择的阈值Mt时，跟踪方法选择单元402可以选择补片匹配方法。当不能通过使用补片匹配方法来跟踪输入图像数据上的对象时，跟踪方法选择单元402可以选择描述符匹配方法来针对输入图像数据上的对象执行跟踪操作。描述符匹配单元403可以通过描述符匹配方法来跟踪输入图像数据上的对象。

　　[0082]补片匹配单元404可以通过补片匹配方法来跟踪输入图像数据上的对象。

　　[0083]姿态估计单元405可以基于通过描述符匹配单元403或补片匹配单元404执行匹配而获得的结果，计算当前输入图像数据上的对象位置和姿态。以下参照图5详细描述在包括图4中示出的跟踪单元的电子设备中用于跟踪图像数据中的对象的操作。

　　[0084]图5是示出了根据本公开实施例的在电子设备中用于跟踪图像数据中的对象的操作的流程图。

　　[0085]参照图5，当在操作501中输入图像数据时，在操作503中，移动量估计单元401可以测量当前输入图像数据与先前输入图像数据之间的对象移动量，并且可以向跟踪方法选择单元402发送测量的量。

　　[0086]当在操作505中确定测量的移动量不等于或近似零时，在操作507中，跟踪方法选择单元402可以将测量的移动量与阈值Mt相比较。当在操作507中确定测量的移动量高于阈值Mt时，跟踪方法选择单元402可以请求描述符匹配单元403执行输入图像数据上的对象的跟踪操作。

　　[0087]在操作509中，描述符匹配单元403可以通过使用描述符匹配方法来跟踪输入图像数据上的对象，并且可以向姿态估计单元405发送对象跟踪结果。

　　[0088]在操作511中，姿态估计单元405基于从描述符匹配单元403接收的对象跟踪结果，计算输入图像数据上的对象姿态。

　　[0089]在操作507中，当确定测量的移动量不高于阈值Mt时，跟踪方法选择单元402可以请求补片匹配单元404来执行对输入图像数据上的对象的跟踪操作。

　　[0090]在操作513中，补片匹配单元404可以通过补片匹配方法来跟踪输入图像数据上的对象。在操作515中，当确定使用补片匹配方法来跟踪图像数据上的对象失败时，补片匹配单元404向跟踪方法选择单元402通知对象跟踪失败。其后，在操作509处，跟踪方法选择单元402可以请求描述符匹配单元403执行对输入图像数据上的对象的跟踪操作。

　　[0091]在操作515中，当确定使用补片匹配方法跟踪图像数据上的对象成功时，补片匹配单元404可以向姿态估计单元405发送对象跟踪结果。

　　[0092]在操作511中，姿态估计单元405可以基于从补片匹配单元404接收的对象跟踪结果来计算输入图像数据上的对象姿态。

　　[0093]在操作505中，当确定测量的移动量等于或近似零时，在操作511处，跟踪方法选择单元402可以省略对图像数据上的对象的跟踪操作，并且可以向姿态估计单元405发送测量的移动量。在操作511中，姿态估计单元405可以通过从跟踪方法选择单元402接收的测量移动量，计算先前输入图像数据上的对象姿态作为输入图像数据上的对象姿态。

　　[0094]根据本公开的另一实施例，跟踪单元313可以确定图像数据是否满足一个或多个第一条件和/或电子设备的状态是否满足一个或多个第二条件，并且基于确定结果的至少一部分在多个对象跟踪方法之中选择一个对象跟踪方法。

　　[0095]多个对象跟踪方法可以包括第一对象跟踪方法和第二对象跟踪方法，第一对象跟踪方法需要比第二跟踪方法更多的计算量。

　　[0096]在本公开的多个实施例中，第一对象跟踪方法可以包括描述符匹配方法，第二对象跟踪方法可以包括补片匹配方法。[0097]跟踪单元313可以包括用于确定图像数据的移动量和/或照度是否高于一个或多个选定阈值的配置作为第一条件。

　　[0098]根据单元313可以包括用于确定电子设备中包括的电池的剩余电荷量和/或电子设备测量的照度是否高于一个或多个选定阈值的配置作为第二条件。

　　[0099]以下参照图6详细描述跟踪单元的配置，跟踪单元基于针对图像数据的第一条件和针对电子设备的状态的第二条件在多个对象跟踪方法之中选择一个对象跟踪方法，以跟踪图像数据中的对象。

　　[0100]图6是示出了根据本公开实施例的在电子设备中用于跟踪图像数据中的对象的跟踪单元的配置。

　　[0101]参照图6，跟踪单元313可以包括姿态预期单元(未示出)、照度估计单元601、移动量估计单元602、电池估计单元603、跟踪方法选择单元604、描述符匹配单元605、补片匹配单元606、以及姿态估计单元607。

　　[0102]姿态预期单元、移动量估计单元602、描述符匹配单元605、补片匹配单元606和姿态估计单元607执行与图4中示出的姿态预期单元、移动量估计单元401、描述符匹配单元403、补片匹配单元404和姿态估计单元405的功能相同的功能，因此省略其描述。

　　[0103]照度估计单元601可以估计照度，所述照度是当前正拍摄图像数据的环境的亮度。照度跟踪单元601甚至可以通过电子设备100的照度传感器的测量值来计算照度，并且甚至可以通过从构成图像数据的像素提取的亮度值的平均值来计算照度。

　　[0104]电池估计单元603可以测量电子设备100的电池的当前剩余电荷量。当通过电池估计单元603测量的电池的当前剩余电荷量高于用于比较电池的剩余电荷量而先前选择的阈值Bt，并且通过移动量估计单元602测量的当前输入图像数据中的对象移动量高于用于比较移动量而先前选择的阈值Mt时，跟踪方法选择单元604可以选择描述符匹配方法。

　　[0105]当通过照度估计单元601测量的照度高于用于比较照度而先前选择的阈值It，并且通过移动量估计单元602测量的当前输入图像数据上的对象移动量高于用于比较移动量而先前选择的阈值Mt时，跟踪方法选择单元604可以选择描述符匹配方法。

　　[0106]当通过电池估计单元603测量的电池剩余电荷量高于用于比较电池剩余电荷量而先前选择的阈值Bt，通过照度估计单元601测量的照度高于用于比较照度而先前选择的阈值It，并且通过移动量估计单元602测量的当前输入图像数据上的对象移动量高于用于比较移动量而先前选择的阈值Mt时，跟踪方法选择单元604可以选择描述符匹配方法。

　　[0107]当通过电池估计单元603测量的电池剩余电荷量不高于阈值Bt，或者通过移动量估计单元602测量的移动量不高于阈值Mt时，跟踪方法选择单元604可以选择补片匹配方法。

　　[0108]当通过电池估计单元603测量的电池剩余电荷量不高于阈值Bt，通过照度估计单元601测量的照度不高于阈值It，或者通过移动量估计单元602测量的移动量不高于阈值Mt时，跟踪方法选择单元604可以选择补片匹配方法。

　　[0109]当移动量等于或近似零时，跟踪方法选择单元604可以省略对象跟踪操作。

　　[0110]当无法使用补片匹配方法跟踪输入图像数据上的对象时，跟踪方法选择单元604可以选择描述符匹配方法来执行对输入图像数据上的对象的跟踪操作。

　　[0111]参照图7至9详细描述在包括图6中示出的跟踪单元的电子设备中跟踪图像数据中的对象的操作。

　　[0112]图7是示出了根据本公开实施例的在电子设备中使用剩余电池量和移动量根据图像数据中的对象的操作的流程图。

　　[0113]参照图7，在操作701中当输入图像数据时，在操作703中电池估计单元603可以测量电子设备100的电池剩余电荷量并且向跟踪方法选择单元604发送测量的量。

　　[0114]在操作705中，跟踪方法选择单元604可以将测量的电池剩余电荷量与阈值Bt相比较。

　　[0115]在操作705中，当测量的电池剩余电荷量高于阈值Bt时,跟踪方法选择单元604可以等待从移动量估计单元602接收移动量。

　　[0116]在操作707中，移动量估计单元602可以测量当前输入图像数据与先前输入图像数据之间的对象移动量，并且向跟踪方法选择单元604发送测量的移动量。

　　[0117]当在操作709中确定测量的移动量不等于或不近似零时，在操作711中，跟踪方法选择单元604可以将测量的移动量与阈值Mt相比较。在操作711中，当确定测量的移动量高于阈值Mt时，跟踪方法选择单元604可以请求描述符匹配单元604执行对输入图像数据上的对象的跟踪操作。

　　[0118]在操作713中，描述符匹配单元605可以使用描述符匹配方法来跟踪输入图像数据上的对象，并且可以向姿态估计单元607发送对象跟踪结果。

　　[0119]在操作715中，姿态估计单元607可以基于从描述符匹配单元605接收到的对象跟踪结果，计算输入图像数据上对象的姿态。

　　[0120]在操作705中，当确定测量的电池剩余电荷量不高于阈值Bt时，跟踪方法选择单元604可以请求补片匹配单元606执行对输入图像数据上的对象的跟踪操作。

　　[0121]此外，在操作711中，当确定测量的移动量不高于阈值Mt时，跟踪方法选择单元604可以请求补片匹配单元606执行对输入图像数据上对象的跟踪操作。

　　[0122]在操作717中，补片匹配单元606可以通过补片匹配方法跟踪输入图像数据上的对象。

　　[0123]在操作719中，当确定使用补片匹配方法跟踪图像数据上的对象失败时，补片匹配单元606向跟踪方法选择单元604通知对象跟踪失败。

　　[0124]其后，在操作713处，跟踪方法选择单元604可以请求描述符匹配单元605执行对输入图像数据上的对象的跟踪操作。

　　[0125]在操作719中，当确定使用补片匹配方法跟踪图像数据上的对象成功时，在操作715处，补片匹配单元606可以向姿态估计单元607发送对象跟踪结果。

　　[0126]在操作715中，姿态估计单元607可以基于从补片匹配单元606接收的对象跟踪结果，计算输入图像数据上的对象姿态。

　　[0127]在操作709中，当确定测量的移动量等于或近似零时，跟踪方法选择单元604可以省略对图像数据上的对象的跟踪操作，并且向姿态估计单元607发送测量的移动量。在操作715中，姿态估计单元607可以通过从跟踪方法选择单元604接收到的测量移动量，计算先前输入图像数据上的对象姿态作为输入图像数据上的对象姿态。

　　[0128]图8是示出了根据本公开实施例的在电子设备中使用照度和移动量来跟踪图像数据中的对象的操作的流程图。[0129]参照图8，在操作801中当输入图像数据时，在操作803中，照度估计单元601可以测量作为当前通过电子设备100拍摄图像数据的环境的亮度的照度，并且可以向跟踪方法选择单元604发送测量的照度。

　　[0130]在操作805中，跟踪方法选择单元604可以将测量的照度与阈值It相比较。

　　[0131]在操作805中，当测量的照度不高于阈值It时，跟踪方法选择单元604可以等待从移动量估计单元602接收移动量。

　　[0132]在操作807中，移动量估计单元602可以测量当前输入图像数据与先前输入图像数据之间的对象移动量，并且向跟踪方法选择单元604发送测量的移动量。

　　[0133]当在操作809中确定测量的移动量不等于或近似零时，在操作811中跟踪方法选择单元604可以将测量的移动量与阈值Mt相比较。在操作811中，当确定测量的移动量高于阈值Mt时，跟踪方法选择单元604可以请求描述符匹配单元605执行对输入图像数据上的对象的跟踪操作。

　　[0134]在操作813中，描述符匹配单元605可以使用描述符匹配方法来跟踪输入图像数据上的对象，并且可以向姿态估计单元607发送对象跟踪结果。

　　[0135]在操作815中，姿态估计单元607可以基于从描述符匹配单元605接收到的对象跟踪结果，计算输入图像数据上的对象姿态。

　　[0136]在操作805中，当确定测量的照度高于阈值It时，在操作817处，跟踪方法选择单元604可以请求补片匹配单元606执行对输入图像数据上的对象的跟踪操作。

　　[0137]此外，在操作811中，当确定测量的移动量不高于阈值Mt时，在操作817处跟踪方法选择单元604可以请求补片匹配单元606执行对输入图像数据上对象的跟踪操作。

　　[0138]在操作817中，补片匹配单元606可以通过补片匹配方法跟踪输入图像数据上的对象。

　　[0139]在操作819中，当确定使用补片匹配方法跟踪图像数据上的对象失败时，补片匹配单元606可以向跟踪方法选择单元604通知对象跟踪失败。

　　[0140]其后，跟踪方法选择单元402可以请求描述符匹配单元605执行对输入图像数据上的对象的跟踪操作。

　　[0141]在操作819中，当确定使用补片匹配方法跟踪图像数据上的对象成功时，补片匹配单元606可以向姿态估计单元607发送对象跟踪结果。

　　[0142]在操作815中，姿态估计单元607可以基于从补片匹配单元606接收到的对象跟踪结果，计算输入图像数据上的对象姿态。

　　[0143]在操作809中，当确定测量的移动量等于或近似零时，跟踪方法选择单元604可以省略对图像数据上的对象的跟踪操作，并且可以向姿态估计单元607发送测量的移动量。在操作815中，姿态估计单元607可以通过从跟踪方法选择单元604接收到的测量移动量，计算先前输入图像数据上的对象姿态作为输入图像数据上的对象姿态。

　　[0144]图9是示出了根据本公开实施例的在电子设备中使用电池的剩余电荷量、照度和移动量来跟踪图像数据中的对象的操作的流程图。

　　[0145]参照图9，在操作901中当输入图像数据时，在操作903中，电池估计单元603可以测量电子设备100的电池剩余电荷量，并且可以向跟踪方法选择单元604发送测量的量。

　　[0146]在操作905中，跟踪方法选择单元604可以将测量的电池剩余电荷量与阈值Bt相比较。

　　[0147]在操作905中，当测量的电池剩余电荷量高于阈值Bt时，跟踪方法选择单元604可以等待从照度估计单元601接收测量的照度。

　　[0148]在操作907中，照度估计单元601可以测量作为当前通过电子设备100拍摄图像数据的环境的亮度的照度，并且可以向跟踪方法选择单元604发送测量的照度。

　　[0149]在操作909中，跟踪方法选择单元604可以将测量的照度与阈值It相比较。

　　[0150]在操作909中，当确定测量的照度不高于阈值It时，跟踪方法选择单元604可以等待从移动量估计单元602接收移动量。

　　[0151]在操作911中，移动量估计单元602可以测量当前输入图像数据与先前输入图像数据之间的对象移动量，并且向跟踪方法选择单元604发送测量的移动量。

　　[0152]当在操作913中确定测量的移动量不等于或近似零时，在操作915中半岛真人，跟踪方法选择单元604可以将测量的移动量与阈值Mt相比较电子元件。在操作915中，当前确定测量的移动量高于阈值Mt时，跟踪方法选择单元604可以请求描述符匹配单元605执行对输入图像数据上的对象的跟踪操作。

　　[0153]在操作917中，描述符匹配单元605可以通过使用描述符匹配方法跟踪输入图像数据上的对象，并且可以向姿态估计单元607发送对象跟踪结果。

　　[0154]在操作919中，姿态估计单元607可以基于从描述符匹配单元605接收到的对象跟踪结果，计算输入图像数据上的对象姿态。

　　[0155]在操作905中，当确定测量的电池剩余电荷量不高于阈值Bt时，在操作921处，跟踪方法选择单元604可以请求补片匹配单元606执行对输入图像数据上的对象的跟踪操作。

　　[0156]此外，在操作909中，当确定测量的照度高于阈值It时，跟踪方法选择单元604可以请求补片匹配单元606执行对输入图像数据上的对象的跟踪操作。

　　[0157]此外，在操作915中，当确定测量的移动量不高于阈值Mt时，在操作921处，跟踪方法选择单元604可以请求补片匹配单元606执行对输入图像数据上的对象的跟踪操作。

　　[0158]在操作921中，补片匹配单元606可以通过补片匹配方法跟踪输入图像数据上的对象。

　　[0159]在操作923中，当确定使用补片匹配方法跟踪图像数据上的对象失败时，补片匹配单元606向跟踪方法选择单元604通知对象跟踪失败。

　　[0160]其后，在操作917处，跟踪方法选择单元604可以请求描述符匹配单元605执行对输入图像数据上的对象跟踪操作。

　　[0161]在操作923中，当确定使用补片匹配方法跟踪图像数据上的对象成功时，在操作915处，补片匹配单元606可以向姿态估计单元607发送对象跟踪结果。

　　[0162]在操作919中，姿态估计单元607可以基于从补片匹配单元606接收到的对象跟踪结果，计算输入图像数据上的对象姿态。

　　[0163]在操作913中，当确定测量的移动量等于或近似零时，跟踪方法选择单元604可以省略对图像数据上的对象的跟踪操作，并且可以向姿态估计单元607发送测量的移动量。在操作919中，姿态估计单元607可以通过从跟踪方法选择单元604接收到的测量移动量，计算先前输入图像数据上的对象姿态作为输入图像数据上的对象姿态。[0164]根据本公开多个实施例的电子设备和操作电子设备的方法可以由计算机可读记录介质中的计算机可读代码来实现。计算机可读记录介质包括其中存储计算机系统可读取的数据的所有类型记录介质。对于这种记录介质，例如，可以使用ROM、RAM、光盘、磁带、软盘、硬盘和非易失性存储器。

　　[0165]尽管参考本公开多个实施例示出并描述了本公开，然而本领域技术人员应理解，可以在不脱离由所附权利要求及其等同物限定的本公开的精神和范围的前提下，对这些实施例进行形式和细节上的多种改变。

　　1.一种电子设备,包括: 存储器，配置为存储多个数字图像；以及 处理器， 其中处理器跟踪所述多个数字图像中识别到的对象的移动，并且处理器检测所述多个数字图像之间的移动量，并基于移动量的至少一部分在多个对象跟踪方法之中选择一个对象跟踪方法。

　　2.根据权利要求1所述的电子设备，其中所述多个对象跟踪方法包括第一对象跟踪方法和第二对象跟踪方法，并且 第一对象跟踪方法比第二对象跟踪方法需要更多的计算量， 其中第一对象跟踪方法包括描述符匹配方法，第二对象跟踪方法包括补片匹配方法。

　　3.根据权利要求2所述的电子设备，其中当移动量高于第一阈值时，处理器选择第一对象跟踪方法，并且 当移动量不高于第一阈值时，处理器选择第二对象跟踪方法。

　　4.根据权利要求1所述的电子设备，其中当移动量等于零或近似零时，处理器省略对象的跟踪。

　　5.根据权利要求1所述的电子设备，其中处理器基于电子设备中包括的电池的剩余电荷量的至少一部分，在多个对象跟踪方法之中选择一个对象跟踪方法。

　　6.根据权利要求1所述的电子设备，其中处理器确定以下(i)和(ii)中的至少一个:(i)数字图像是否满足第一条件中的至少一个以及(ii)电子设备的状态是否满足第二条件中的至少一个，并且处理器基于确定结果的至少一部分在多个对象跟踪方法之中选择一个对象跟踪方法。

　　7.根据权利要求6所述的电子设备，其中第一条件包括用于确定所述多个数字图像的移动量和照度中的至少一个是否比选定阈值中的至少一个高的配置。

　　8.根据权利要求6所述的电子设备，其中第二条件包括用于确定电子设备中包括的电池的剩余电荷量和电子设备测量的照度中的至少一个是否比选定阈值中的至少一个高的配置。

　　9.一种操作电子设备的方法，所述方法包括: 跟踪从多个数字图像中识别到的对象的移动， 其中，跟踪移动包括:检测所述多个数字图像之间的移动量，并且基于移动量的至少一部分在多个对象跟踪方法中选择一个对象跟踪方法。

　　10.根据权利要求9所述的方法，其中所述多个对象跟踪方法包括第一对象跟踪方法和第二对象跟踪方法，并且 第一对象跟踪方法比第二对象跟踪方法需要更多的计算量， 其中第一对象跟踪方法包括描述符匹配方法，并且第二对象跟踪方法包括补片匹配方法。

　　11.根据权利要求9所述的方法，其中在多个对象跟踪方法之中选择一个对象跟踪方法包括: 当移动量高于第一阈值时，选择第一对象跟踪方法，并且 当移动量不高于第一阈值时，选择第二对象跟踪方法。

　　12.根据权利要求9所述的方法，其中当移动量等于零或近似零时，省略对象的跟踪。

　　13.根据权利要求9所述的方法，其中跟踪移动还包括以下(i)和(ii)中的至少一个:(i)确定所述多个数字图像是否满足第一条件中的至少一个以及(ii)确定电子设备的状态是否满足第二条件中的至少一个，并且 跟踪移动还包括:基于确定结果的至少一部分在多个对象跟踪方法之中选择一个对象跟踪方法。

　　14.根据权利要求13所述的方法，其中确定所述多个数字图像是否满足第一条件中的至少一个包括:确定所述多个数字图像的移动量和照度中的至少一个是否高于选定阈值中的至少一个。

　　15.根据权利要求13所述的方法，其中电子设备包括电池，确定电子设备的状态是否满足第二条件中的至少一个包括:确定电池的剩余电荷量和电子设备测量的照度中的至少一个是否高于选定阈值中的至少一个。