計(jì)算機(jī)視覺(jué)(CV)和自然語(yǔ)言處理(NLP)早先是兩個(gè)較為d立的研究L域。CV 重點(diǎn)關(guān)注如何用計(jì)算機(jī)代替人眼對(duì)目標(biāo)完成識(shí)別、跟蹤、測(cè)量等任務(wù),對(duì)圖像進(jìn)行處理;NLP 則研究計(jì)算機(jī)如何處理、運(yùn)用自然語(yǔ)言,包括語(yǔ)言生成、問(wèn)答、對(duì)話(huà)等任務(wù)。近年來(lái),以深度神經(jīng)網(wǎng)絡(luò)為代表的機(jī)器學(xué)習(xí)和模式識(shí)別技術(shù)被廣泛應(yīng)用于 CV 和 NLP L域,取得了目前先進(jìn)的效果。
近年來(lái),研究者們?cè)噲D將動(dòng)作控制也引入到「視覺(jué)-語(yǔ)言」任務(wù)的框架中。吳琦將此類(lèi)任務(wù)命名為 V3A(Vision, Ask, Answer, Act),在給定視覺(jué)輸入后,我們希望機(jī)器能夠提出問(wèn)題、回答問(wèn)題、并通過(guò)和人以及機(jī)器之間的語(yǔ)言交流執(zhí)行某些動(dòng)作。
例如,「Vision+Ask」的任務(wù)包含視覺(jué)問(wèn)題生成、根據(jù)問(wèn)題生成查詢(xún)、圖像描述等;「Vision+Answer」的任務(wù)包含視覺(jué)問(wèn)答、視覺(jué)對(duì)話(huà)等;「Vision+Act」的任務(wù)包含指稱(chēng)表達(dá)、視覺(jué)對(duì)齊(visual grounding)、語(yǔ)言引導(dǎo)的視覺(jué)導(dǎo)航、具身視覺(jué)問(wèn)答、具身指稱(chēng)表達(dá)等。
![]() |
商用機(jī)器人 Disinfection Robot 展廳機(jī)器人 智能垃圾站 輪式機(jī)器人底盤(pán) 迎賓機(jī)器人 移動(dòng)機(jī)器人底盤(pán) 講解機(jī)器人 紫外線(xiàn)消毒機(jī)器人 大屏機(jī)器人 霧化消毒機(jī)器人 服務(wù)機(jī)器人底盤(pán) 智能送餐機(jī)器人 霧化消毒機(jī) 機(jī)器人OEM代工廠(chǎng) 消毒機(jī)器人排名 智能配送機(jī)器人 圖書(shū)館機(jī)器人 導(dǎo)引機(jī)器人 移動(dòng)消毒機(jī)器人 導(dǎo)診機(jī)器人 迎賓接待機(jī)器人 前臺(tái)機(jī)器人 導(dǎo)覽機(jī)器人 酒店送物機(jī)器人 云跡科技潤(rùn)機(jī)器人 云跡酒店機(jī)器人 智能導(dǎo)診機(jī)器人 |