北京時(shí)間02月21日消息,中華顯示網(wǎng)訊,作為一種新興的人機(jī)互動(dòng)方式,multi-touch觸控技術(shù)必然要保持一種可持續(xù)發(fā)展的勢(shì)態(tài),例如沒有任何限制的觸控點(diǎn)數(shù),可以讓更多的手指一同接觸面板,來創(chuàng)造出各式不同的應(yīng)用,或者是考慮觸控給用戶帶來的真實(shí)體驗(yàn),就像我們知道“觸摸的感覺組成,它有很大部分是物理移動(dòng)。如果我們要把這種觸摸的感覺推向極致的話,物理移動(dòng)是一定需要的”。根據(jù)這樣的簡(jiǎn)單邏輯,我們會(huì)希望在按一個(gè)東西的時(shí)候,它真的可以偵測(cè)按下去的力道輕重。
目前,電阻式與電容式觸控是比較主流的兩類觸控技術(shù)。電阻式觸控設(shè)計(jì)簡(jiǎn)單,成本最低,是目前最主要的觸控技術(shù)。但電阻式觸控較受制于其物理局限性,如透光率較低、高線數(shù)的大偵測(cè)面積造成處理器負(fù)擔(dān)、其應(yīng)用特性使之易老化從而影響使用壽命等問題。因此,在較為高端的應(yīng)用中,電容式觸控技術(shù)成為首選。電容式觸控支持多點(diǎn)觸控功能,擁有更高的透光率、更低的整體功耗,其接觸面硬度高,無需按壓,使用壽命較長(zhǎng),所以Apple(蘋果公司)在推出iPhone時(shí)選擇的是電容式觸控。
不過,電容式觸控也有自身的問題需要克服,如在一體化模塊中,液晶屏和銦錫氧化物范本(ITO)做在同一個(gè)真空堆棧中,為了達(dá)到觸點(diǎn)偵測(cè)功效,ITO模板需不斷地掃描像素,這會(huì)持續(xù)散發(fā)干擾信號(hào),影響整個(gè)模塊的操作,因此在電容式觸控的應(yīng)用上,要真正做到?jīng)]有任何觸控限制的true multi-touch,還有許多技術(shù)待克服。另外,為了不讓ITO的表面電流被隔絕,硬化鍍層一般非常薄,若施加在觸摸屏上的外力過大時(shí),可能傷及ITO,從而降低使用壽命。此外,目前電容式觸控面板的成本還比較高,在大尺寸應(yīng)用方面比較困難。
矽創(chuàng)所開發(fā)的壓電式多點(diǎn)觸控技術(shù),可以說是介于電阻式與電容式之間,其感應(yīng)原理與iPhone類似,最主要的不同之處在于其信號(hào)為電壓源而非電流源,如圖1所示。當(dāng)上板與下板接觸導(dǎo)通后形成回路造成電壓值改變,再通過如同LCD驅(qū)動(dòng)IC的掃描方式由Row(行)發(fā)送信號(hào),再由Column(列)接收回來判定觸摸點(diǎn)位置,由于其掃描頻率最高可達(dá)200Hz,因此可以實(shí)時(shí)快速地獲取觸點(diǎn)信息,再通過專用的MCU、DSP來準(zhǔn)確計(jì)算出多點(diǎn)坐標(biāo),給出信號(hào)。壓電式觸控技術(shù)在沒有觸摸動(dòng)作時(shí),觸摸屏不會(huì)耗電,因此功耗遠(yuǎn)低于傳統(tǒng)的電阻式多點(diǎn)觸控技術(shù)。
1 多點(diǎn)觸控的核心——對(duì)象追蹤
在壓電式多點(diǎn)觸控的運(yùn)算流程中,通過掃描系統(tǒng)(scanning system)偵測(cè)觸控點(diǎn)信息,通過濾波器先將原始數(shù)據(jù)中的背景噪聲消除,界定觸控的區(qū)域范圍并得到有效觸控面積后,可以進(jìn)一步計(jì)算出重心位置,經(jīng)過DSP作運(yùn)算處理判斷是否合并成為坐標(biāo)。另一個(gè)特性是偵測(cè)壓力的變化,通過接觸面積的不同而改變導(dǎo)通的電流量,IC內(nèi)部電路進(jìn)而根據(jù)該電流變化量轉(zhuǎn)化為壓力值變化,這可應(yīng)用在小畫家的應(yīng)用軟件上,根據(jù)輸入介質(zhì)的接觸面積不同使筆觸有粗細(xì)變化。這些處理后的坐標(biāo)以及壓力信息再經(jīng)由MCU將多點(diǎn)移動(dòng)動(dòng)作轉(zhuǎn)換成手勢(shì)指令,將此指令傳給主系統(tǒng)的CPU就可以控制面板顯示內(nèi)容以及執(zhí)行一些應(yīng)用程序了,但其中如何將觸碰在屏幕上的每一點(diǎn)的動(dòng)作完整的解析出來,是整個(gè)多點(diǎn)觸控系統(tǒng)中最重要的核心,一旦處理的過程出現(xiàn)任何失誤,對(duì)使用者而言就相當(dāng)于手勢(shì)辨識(shí)失敗,或是多個(gè)觸控點(diǎn)移動(dòng)的軌跡出現(xiàn)混淆或錯(cuò)亂。
在這篇文章中我們將針對(duì)壓電式多點(diǎn)觸控技術(shù)中的核心——“對(duì)象追蹤”(Object Tracking)這一部分做簡(jiǎn)單的介紹。對(duì)象追蹤是通過比對(duì)連續(xù)移動(dòng)對(duì)象的相似度來完成的,其中的議題涵蓋如何建立對(duì)象的特征、相似程度的判別以及如何在整個(gè)對(duì)象數(shù)據(jù)庫(kù)中快速尋找目標(biāo)物,讓系統(tǒng)能利用在高速掃描運(yùn)作下所產(chǎn)生的大量信息來完成多點(diǎn)觸控的功能。
矽創(chuàng)電子所開發(fā)的壓電式觸控技術(shù)中所使用的對(duì)象追蹤可細(xì)分為三個(gè)處理程序:
1. 區(qū)域合并(Region-Based combination)
2. 主動(dòng)式輪廓追蹤(Active Contour-Based Tracking)
3. 特征追蹤(Feature-Based Tracking)
1.1 區(qū)域合并
因?yàn)閴弘娛接|控技術(shù)以矩陣式的偵測(cè)器來感應(yīng)手指或物體觸碰的動(dòng)作,一般而言,當(dāng)觸碰到屏幕的物體較大或是手指按壓的力量較大時(shí),會(huì)讓偵測(cè)器所感應(yīng)到的面積范圍較大,但某些時(shí)候因?yàn)槭种富蛭矬w的移動(dòng)速度較快,或是觸碰時(shí)的壓力不夠大,造成同一個(gè)觸碰范圍內(nèi),掃描系統(tǒng)偵測(cè)到的對(duì)象由好幾個(gè)組成,而不是單一的觸控對(duì)象,因此在區(qū)域式追蹤的算法中,我們必須判斷在同一個(gè)掃描幀(frame)中,哪些對(duì)象有可能是同一個(gè)手指或物體所造成的,就必須把這些對(duì)象合并在一起,否則若破碎的情況沒有辦法有效的合并,那么將來這些對(duì)象在移動(dòng)的過程中將更加難以追蹤辨識(shí)。
1.2 主動(dòng)式輪廓追蹤
這類方法是將掃描系統(tǒng)偵測(cè)到的觸碰信號(hào)轉(zhuǎn)換成輪廓線(contour)來表示,并賦予輪廓線影像空間的特性,比如面積、形狀等,再利用每個(gè)frame新的信息作輪廓的更新,用以追蹤對(duì)象。在多點(diǎn)觸碰的過程中,每一個(gè)手指或觸碰的物體在經(jīng)過上一個(gè)步驟“區(qū)域合并”之后所產(chǎn)生的輪廓都不盡相同,而在這些對(duì)象移動(dòng)的過程中,我們就可以根據(jù)每一個(gè)對(duì)象在輪廓上的特性來增加追蹤的正確性,而且由于輪廓線是封閉曲線,本質(zhì)上也容易解決對(duì)象交錯(cuò)的問題。
1.3 特征追蹤
以對(duì)象特征為基礎(chǔ)的追蹤方法,是萃取掃描系統(tǒng)所偵測(cè)到的原始數(shù)據(jù)中形成目標(biāo)物的各種成分,再將這些成分集合成較高階的特征信息,藉由比對(duì)相鄰frame間的特征信息來追蹤目標(biāo)物。根據(jù)不同的觸碰特征,可分為:電壓信號(hào)差異、觸碰面積差異(即上一節(jié)的輪廓追蹤方法)、移動(dòng)速度差異。以電壓信號(hào)差異為例,在多點(diǎn)觸碰的情況中,有可能會(huì)有一些觸碰點(diǎn)具有相同的偵測(cè)面積,倘若這些面積相差不多的觸碰點(diǎn)在移動(dòng)過程中有靠近、甚至交錯(cuò)的情況,單純利用面積信息作為對(duì)象追蹤的辨別可能會(huì)造成誤判,但壓電式觸控技術(shù)的掃描原理就是利用掃描系統(tǒng)將手指的觸碰轉(zhuǎn)換為電壓信號(hào),每一個(gè)手指在按壓屏幕時(shí)的力量大小有所不同,則偵測(cè)出來的電壓也會(huì)有不同的變化,因此每一個(gè)對(duì)象除了有面積信息可以參考外,還會(huì)有平均電壓值作為其中一個(gè)特征。假設(shè)在對(duì)象追蹤的過程中,當(dāng)我們沒辦法由面積的差異來分辨每一個(gè)對(duì)象時(shí),就會(huì)進(jìn)一步使用每一個(gè)對(duì)象的平均電壓特性做配對(duì)的計(jì)算。
另外,除了面積以及電壓信號(hào)的差異之外,另一個(gè)非常有利于對(duì)象追蹤計(jì)算的特征就是“運(yùn)動(dòng)狀態(tài)”,因?yàn)槊恳粋€(gè)觸碰點(diǎn)在手指按壓之后,除了壓力會(huì)造成觸碰面積和感測(cè)電壓的大小差異之外,只要手指在屏幕上有移動(dòng),就會(huì)多出一項(xiàng)“速度”的信息來,這時(shí)候每一個(gè)對(duì)象就具備“電壓”、“面積”以及“速度”的特性存在,其中速度這項(xiàng)信息最大的功能是加強(qiáng)多個(gè)對(duì)象在移動(dòng)過程中的追蹤正確性,一般來說,多個(gè)對(duì)象在移動(dòng)中若沒有產(chǎn)生軌跡交錯(cuò),每個(gè)對(duì)象在追蹤的過程中就不易產(chǎn)生混淆的情況,但是對(duì)象與對(duì)象的移動(dòng)軌跡有交錯(cuò)時(shí),就有可能造成混淆的情況,因?yàn)樽粉櫟母拍钍潜葘?duì)每一個(gè)相鄰frame所得到的對(duì)象數(shù)據(jù)庫(kù)的所有特征的相似度,將兩個(gè)相鄰frame中相似度最高的對(duì)象視為同一個(gè)對(duì)象,倘若不去計(jì)算速度特性的話,有可能發(fā)生如圖7所示的狀況。當(dāng)深色的對(duì)象和淺色的對(duì)象在移動(dòng)過程中發(fā)生交錯(cuò),而且剛好N+1的frame時(shí),淺色對(duì)象的位置剛好離第N個(gè)frame時(shí)的深色對(duì)象較近,同樣深色物件在N+1的frame也距離上一個(gè)frame的淺色對(duì)象較近,那此時(shí)配對(duì)的方式如果都是在最短距離為優(yōu)先的情況下,就會(huì)產(chǎn)生追蹤錯(cuò)誤的情況了。
“速度”這個(gè)特征里包含兩個(gè)重要信息,一個(gè)是對(duì)象移動(dòng)的方向,另一個(gè)則是移動(dòng)的快慢,也就是說,不同的對(duì)象,在相鄰的兩個(gè)frame中,移動(dòng)的距離和方向不太可能會(huì)是相同的。因此,我們可以利用速度特征來預(yù)測(cè)出每一個(gè)對(duì)象在下一個(gè)即將掃描的frame中可能出現(xiàn)的位置,估計(jì)出位置之后,當(dāng)掃描系統(tǒng)掃瞄完成之后,數(shù)據(jù)庫(kù)中的對(duì)象在配對(duì)時(shí),就是跟這個(gè)預(yù)測(cè)的位置做比對(duì),并不是上一個(gè)frame中的位置,如此一來,當(dāng)多個(gè)對(duì)象發(fā)生交錯(cuò)時(shí),由于速度特征的不同(因?yàn)楫a(chǎn)生交錯(cuò)就代表移動(dòng)方向的不同),就容易正確追蹤出每一個(gè)對(duì)象的軌跡。
2 物件追蹤的算法——bipartite matching
在前一段我們說明了整個(gè)追蹤機(jī)制中,有哪些重要的對(duì)象特征我們會(huì)采用,接下來我們將介紹每一個(gè)特征在比對(duì)時(shí)所使用的算法。因?yàn)閴弘娛接|控技術(shù)是完全支持multi-touch的接口,也就是說每個(gè)frame會(huì)有不定個(gè)數(shù)的對(duì)象,可能只有1個(gè),也可能有2個(gè),甚至有10個(gè)。我們必須持續(xù)追蹤這些對(duì)象的變化,包括每個(gè)點(diǎn)什么時(shí)候出現(xiàn)、中間移動(dòng)的軌跡以及什么時(shí)候消失,如果我們的追蹤機(jī)制只面對(duì)一個(gè)點(diǎn),那么問題很簡(jiǎn)單。在圖8中,圓形為前一個(gè)frame對(duì)象的位置,方形為當(dāng)前這個(gè)frame的位置,在單一點(diǎn)的情況下,可以直接斷定圓形和方形是同一個(gè)對(duì)象,并且移動(dòng)路徑是A。
但如果是多點(diǎn),情況就沒這么單純了。圖9展示了兩個(gè)點(diǎn)的情況,我們?nèi)绾闻袛鄡蓚€(gè)對(duì)象是走了路徑A還是路徑B呢?也就是說這兩個(gè)方形,到底誰是對(duì)象1?誰是物件2?
其實(shí)上圖還有更復(fù)雜的可能,比如對(duì)象2已經(jīng)消失,某個(gè)方形是新出現(xiàn)的對(duì)象3。在每個(gè)對(duì)象都相同的情況下,其實(shí)我們是沒辦法區(qū)別這種奇怪的可能性的,為了簡(jiǎn)化,我們暫時(shí)先忽略這種可能。在這個(gè)問題上,我們用一個(gè)簡(jiǎn)單的策略來解決:在兩個(gè)frame間,相對(duì)位移越短就越可能是相同的一個(gè)點(diǎn),也就是說在圖9中,上方的方形應(yīng)該是點(diǎn)1,下方的是點(diǎn)2,因?yàn)檫@樣兩個(gè)點(diǎn)移動(dòng)的距離都比較短。
這個(gè)問題如果要求全域的最佳解(讓每個(gè)點(diǎn)移動(dòng)的距離和最短),可以轉(zhuǎn)化成圖論中的bipartite matching問題來解。詳細(xì)的配對(duì)方法如下:
1. 假設(shè)前一個(gè)frame的所有對(duì)象集合為A,目前frame的則為B;
2. 對(duì)于A中的所有點(diǎn)a,計(jì)算出到B中所有點(diǎn)b的edge長(zhǎng)度,并放進(jìn)一個(gè)數(shù)組E中;
3. 把數(shù)組E中距離太遠(yuǎn)的edge剔除掉;
4. 將E按edge長(zhǎng)度排序,從小到大;
5. 從E的開頭開始,每取出一條edge前先看看edge的兩端點(diǎn)是否已經(jīng)配對(duì)成功過,配對(duì)時(shí)同時(shí)會(huì)判斷對(duì)象的各種特征,除了距離要最短之外,其余的特征也必須符合才能完成一組配對(duì);
6. 重復(fù)上一步直到取出所有edge為止。
運(yùn)行完上面的算法,我們就可以標(biāo)記出兩個(gè)frame中所有對(duì)應(yīng)的對(duì)象,并且可以產(chǎn)生每一個(gè)對(duì)象所對(duì)應(yīng)的移動(dòng)軌跡。而A和B中沒被配對(duì)的對(duì)象就代表這些對(duì)象只存在其中一個(gè)frame,不是剛消失就是剛出現(xiàn),接下來我們就可以對(duì)這些對(duì)象的狀態(tài)做進(jìn)一步的處理。
3 結(jié) 論
在多點(diǎn)觸控中如何有效地執(zhí)行對(duì)象追蹤技術(shù)是決定多點(diǎn)觸控效能的關(guān)鍵,當(dāng)掃描系統(tǒng)建立對(duì)象的信息之后,必須配合一個(gè)有效而穩(wěn)健的搜尋與配對(duì)策略,在連續(xù)掃描的frame中快速而精準(zhǔn)地找出對(duì)象的位置,或是建立對(duì)象所需要搜集的信息。在壓電式觸控技術(shù)中,我們使用了區(qū)域合并方法來消除破碎或分散的對(duì)象,以提高整個(gè)系統(tǒng)的處理速度,此外依據(jù)主動(dòng)式輪廓追蹤技術(shù)來掌控觸控屏上每個(gè)點(diǎn)的移動(dòng)狀況,而且進(jìn)一步利用特征追蹤法對(duì)對(duì)象位置變化作預(yù)測(cè),以縮小搜尋比對(duì)的范圍,主要步驟包括預(yù)測(cè)下個(gè)時(shí)間點(diǎn)的對(duì)象狀態(tài)與依據(jù)變化量來更新系統(tǒng)內(nèi)部參數(shù),真正達(dá)到一個(gè)具有動(dòng)態(tài)調(diào)整的精密追蹤技術(shù)。
關(guān)注我們
公眾號(hào):china_tp
微信名稱:亞威資訊
顯示行業(yè)頂級(jí)新媒體
掃一掃即可關(guān)注我們