然后在下一幀采集的圖像中對(duì)目標(biāo)對(duì)象進(jìn)行特征提取;特征匹配的過(guò)程既是將提取出來(lái)的目標(biāo)對(duì)象的特征與我們事先已經(jīng)建立的特征模板進(jìn)行匹配,通過(guò)與特征模板的相似程度來(lái)確定被跟蹤的目標(biāo)對(duì)象,實(shí)現(xiàn)對(duì)目標(biāo)的跟蹤?;谔卣鞯母櫵惴ǖ膬?yōu)點(diǎn)在于速度快、對(duì)運(yùn)動(dòng)目標(biāo)的尺度、形變和亮度等變化不敏感,能滿足特定場(chǎng)合的處理要求。但由于特征具有稀疏性和不規(guī)則性,所以該算法對(duì)于噪聲、遮擋、圖像模糊等比較敏感,如果目標(biāo)發(fā)生旋轉(zhuǎn),則部分特征點(diǎn)會(huì)消失,新的特征點(diǎn)會(huì)出現(xiàn),因此需要對(duì)匹配模板進(jìn)行更新。RK3399搭載AI智能算法,實(shí)現(xiàn)目標(biāo)識(shí)別與跟蹤。國(guó)產(chǎn)化目標(biāo)跟蹤售后服務(wù)
用檢測(cè)器模型去解決跟蹤問(wèn)題,遇到的比較大問(wèn)題是訓(xùn)練數(shù)據(jù)不足。普通的檢測(cè)任務(wù)中,因?yàn)闄z測(cè)物體的類別是已知的,可以收集大量數(shù)據(jù)來(lái)訓(xùn)練。例如 VOC、COCO 等檢測(cè)數(shù)據(jù)集,都有著上萬(wàn)張圖片用于訓(xùn)練。而如果我們將跟蹤視為一個(gè)特殊的檢測(cè)任務(wù),檢測(cè)物體的類別是由用戶在首先幀的時(shí)候所指定的。這意味著能夠用來(lái)訓(xùn)練的數(shù)據(jù)只是只是只有少數(shù)幾張圖片。這給檢測(cè)器帶來(lái)了很大的障礙。而慧視光電定制的目標(biāo)跟蹤算法可以有效的解決這個(gè)問(wèn)題,通過(guò)AI自動(dòng)圖像標(biāo)注平臺(tái)SpeedDP的大量模型部署訓(xùn)練,能夠有效解決數(shù)據(jù)訓(xùn)練不足的問(wèn)題。國(guó)產(chǎn)化目標(biāo)跟蹤售后服務(wù)成都慧視開(kāi)發(fā)的RK3588跟蹤板怎么樣???
目標(biāo)跟蹤(Target Tracking)是近年來(lái)計(jì)算機(jī)視覺(jué)領(lǐng)域比較活躍的研究方向之一,它包含從目標(biāo)的圖像序列中檢測(cè)、分類、識(shí)別、跟蹤并對(duì)其行為進(jìn)行理解和描述,屬于圖像分析和理解的范疇。從技術(shù)角度而言,目標(biāo)跟蹤的研究?jī)?nèi)容相當(dāng)豐富,主要涉及到模式識(shí)別、圖像處理、計(jì)算機(jī)視覺(jué)、人工智能等學(xué)科知識(shí);同時(shí),動(dòng)態(tài)場(chǎng)景中運(yùn)動(dòng)的快速分割、目標(biāo)的非剛性運(yùn)動(dòng)、目標(biāo)自遮擋和目標(biāo)之間互遮擋的處理等問(wèn)題也為目標(biāo)跟蹤研究帶來(lái)了一定的挑戰(zhàn)。由于目標(biāo)跟蹤在視頻會(huì)議、安全監(jiān)控、導(dǎo)彈制導(dǎo)、醫(yī)療診斷、高級(jí)人機(jī)交互及基于內(nèi)容的圖像存儲(chǔ)與檢索等方面具有廣泛的應(yīng)用前景和潛在的經(jīng)濟(jì)價(jià)值。
多目標(biāo)跟蹤是指在連續(xù)的圖像中,通過(guò)目標(biāo)檢測(cè)算法識(shí)別出每一幀中的目標(biāo),并在時(shí)間上跟蹤它們的位置和狀態(tài)。但目標(biāo)會(huì)不斷發(fā)生尺度、形變、遮擋等變化,而且還會(huì)有目標(biāo)出現(xiàn)和消失的情況,再加上視頻采集端的相機(jī)所處環(huán)境可能受到外界影響導(dǎo)致抖動(dòng)的情況(例如無(wú)人機(jī)高空檢測(cè)),就會(huì)給多目標(biāo)跟蹤造成一定的困難。由于我們不能控制目標(biāo),所以只能從視頻采集端維護(hù)跟蹤的穩(wěn)定性。因此,成都慧視針對(duì)于多目標(biāo)檢測(cè)跟蹤抖動(dòng)丟失的優(yōu)化方法是:1.改進(jìn)目標(biāo)檢測(cè),使用更加魯棒的目標(biāo)檢測(cè)算法。2.增強(qiáng)特征描述,利用深度學(xué)習(xí)提取更高級(jí)別的語(yǔ)義特征,這些特征對(duì)于小范圍內(nèi)的視角變化具有更好的不變性3.改進(jìn)運(yùn)動(dòng)模型,在算法中加入對(duì)攝像頭運(yùn)動(dòng)的估計(jì),通過(guò)補(bǔ)償攝像頭運(yùn)動(dòng)來(lái)減小目標(biāo)真實(shí)運(yùn)動(dòng)與預(yù)測(cè)之間的差距。4.數(shù)據(jù)關(guān)聯(lián)策略,設(shè)計(jì)更靈活的數(shù)據(jù)關(guān)聯(lián)算法,允許更大的距離閾值來(lái)匹配候選目標(biāo)。成都RV1126智能跟蹤板提供商。
RK3588作為瑞芯微國(guó)產(chǎn)化旗艦級(jí)芯片,用在目標(biāo)跟蹤領(lǐng)域,通常情況下跟蹤幀率都在50Hz左右,這已經(jīng)足夠滿足大多數(shù)應(yīng)用領(lǐng)域的需求。但在許多特殊領(lǐng)域,如軍備、邊防,高幀頻的視頻輸出能夠在極短的時(shí)間內(nèi)捕捉到更多的畫面,實(shí)現(xiàn)高速動(dòng)態(tài)場(chǎng)景的連續(xù)拍攝。高幀頻的目標(biāo)跟蹤則能夠獲得更多的目標(biāo)細(xì)節(jié),便于做出下一步判斷。許多中低端性能的由于算力等因素?zé)o法達(dá)到這樣的需求,但RK3588作為性能怪,6.0TOPS的算力開(kāi)發(fā)潛力無(wú)限。成都慧視就針對(duì)于這樣的需求場(chǎng)景,在硬件的支持下,定制開(kāi)發(fā)出能夠支撐100Hz跟蹤算法,從而打造出能夠穩(wěn)定實(shí)現(xiàn)100Hz目標(biāo)跟蹤的整合方案。AI圖像處理板能實(shí)現(xiàn)24小時(shí)、無(wú)間隙信息化監(jiān)控。無(wú)源目標(biāo)跟蹤性價(jià)比
成都RK3588智能跟蹤板提供商。國(guó)產(chǎn)化目標(biāo)跟蹤售后服務(wù)
但這也遇到很多難點(diǎn),通常情況下,視頻回傳的延遲大概在200ms左右,隨著大量的彈打出,視頻傳輸所需帶寬就面臨壓力,如何在通信帶寬有限的情況下,保證視頻順暢、清晰、無(wú)卡頓地傳輸,是分析改進(jìn)這個(gè)工作需要解決的前期難點(diǎn)。針對(duì)于這個(gè)問(wèn)題,慧視光電利用GS弱網(wǎng)高清音視頻傳輸系統(tǒng)和RK3588打造的Viztra-HE030圖像處理板結(jié)合,推出了低延遲低帶寬圖傳解決方案。在一個(gè)窄帶收發(fā)信道內(nèi),例如在信道有效帶寬0.5Mb/s~2Mb/s內(nèi),多路視頻和交互控制共用一對(duì)收發(fā)信道,信道支持?jǐn)?shù)據(jù)透?jìng)?,外部系統(tǒng)可以使用該信道,傳輸任意格式的數(shù)據(jù);可實(shí)時(shí)調(diào)整視頻碼率,在低至500K帶寬情況下依然可以回傳清晰流暢的圖像??梢允乖O(shè)備飛的更遠(yuǎn)、走的更遠(yuǎn);可實(shí)現(xiàn)視頻中繼轉(zhuǎn)發(fā);能夠基于H265實(shí)時(shí)視頻編碼;可實(shí)現(xiàn)基于視頻流的“人在回路低延遲控制”?;谄胀?0幀相機(jī),實(shí)現(xiàn)15ms的低延遲編解碼,加上數(shù)據(jù)鏈傳輸延遲時(shí)間在30ms左右,目前業(yè)界前列。通用性強(qiáng),使用更加靈活,適用更多應(yīng)用場(chǎng)景;支持多路SDI視頻在低至500K帶寬情況下的同時(shí)傳輸(1080P60FPS),徹底解決“帶寬苦惱”;整體時(shí)延約60ms(含相機(jī)、編解碼、顯示,不含傳輸),實(shí)現(xiàn)實(shí)時(shí)控制、實(shí)時(shí)打擊。國(guó)產(chǎn)化目標(biāo)跟蹤售后服務(wù)