1037237增量型編碼器的原理及應(yīng)用上海秉銘DFS60B-S4CA04000經(jīng)機(jī)器翻譯模型在一些翻譯任務(wù)上已經(jīng)超過了傳統(tǒng)的統(tǒng)計(jì)機(jī)器翻譯模型,達(dá)到了SOTA（State-of-the-art）的效果。神經(jīng)機(jī)器翻譯模型翻譯流暢度較高,然而存在著翻譯準(zhǔn)確度不高、易過翻/漏翻、模型可解釋度不高、長(zhǎng)句子翻譯困難等問題。在此背景下,越來越多的工作嘗試使用語言學(xué)知識(shí)來提高神經(jīng)機(jī)器翻譯模型的性能。研究結(jié)果表明,語言學(xué)知識(shí)的融合豐富了神經(jīng)機(jī)器翻譯模型可學(xué)到的翻譯信息,提高了神經(jīng)機(jī)器翻譯模型的性能。然而,語言學(xué)知識(shí)作為一種額外的、規(guī)則的、多樣的信息,如何與神經(jīng)機(jī)器翻譯模型進(jìn)行有機(jī)的、高效的融合,成為了神經(jīng)機(jī)器翻譯研究中的一個(gè)重要主題。因此,本文針對(duì)目前神經(jīng)機(jī)器翻譯模型中語言學(xué)知識(shí)引入效率低和引入的方式等問題進(jìn)行了研究。具體研究工作如下。1)針對(duì)神經(jīng)機(jī)器翻譯模型準(zhǔn)確度不高、長(zhǎng)句子翻譯困難以及現(xiàn)有的語言學(xué)知識(shí)融合方式等問題,在編碼器神經(jīng)機(jī)器翻譯模型基礎(chǔ)上,本文提出了基于依存信息監(jiān)督的局部注意力機(jī)制下的神經(jīng)機(jī)器翻譯模型。本模型將語言學(xué)知識(shí)中的依存信息與局部注意力機(jī)制結(jié)合,使用語言學(xué)知識(shí)來提升注意力機(jī)制,從而將依存語法信息以更準(zhǔn)確更有效地方式融合進(jìn)神經(jīng)機(jī)器翻譯模型中來提升翻譯效果。2)針對(duì)語言學(xué)知識(shí)利用效率低下、在引用過程中增加額外成本等問題,在編碼器神經(jīng)機(jī)器翻譯模型基礎(chǔ)上,本文提出了基于多層注意力機(jī)制下的神經(jīng)機(jī)器翻譯模型。本模型改變了將語言學(xué)知識(shí)作為一種額外的信息機(jī)械的加入神經(jīng)機(jī)器翻譯模型中的方式,轉(zhuǎn)而嘗試將神經(jīng)機(jī)器翻譯模型自身學(xué)到的語言學(xué)知識(shí)充分地加以利用。本模型既利用了語言學(xué)知識(shí),又不需要引入額外的語言學(xué)知識(shí),以更有效更快速的方式提高了神經(jīng)機(jī)器翻譯模型.

視覺和模式識(shí)別等領(lǐng)域占據(jù)重要地位,圖像分類模型一般由圖像特征抽取、特征變換和增強(qiáng)、分類器訓(xùn)練等步驟組成。為了得到有效的特征表示,早期特征抽取主要采用手工設(shè)計(jì)方式,常常依賴于特征設(shè)計(jì)者的領(lǐng)域知識(shí)。隨著深度學(xué)習(xí)技術(shù)發(fā)展,更多圖像分類模型利用深度網(wǎng)絡(luò)進(jìn)行特征抽取。深度網(wǎng)絡(luò)特征既可以通過端到端訓(xùn)練的方式獲得,也可以利用大規(guī)模圖像庫上訓(xùn)練好的深度網(wǎng)絡(luò)在圖像上直接抽取。前者需要大量訓(xùn)練圖像來擬合網(wǎng)絡(luò)參數(shù),計(jì)算代價(jià)高;后者由于缺乏監(jiān)督信息的導(dǎo)引,其判別性仍需加強(qiáng)。作為一種有效的特征變換和增強(qiáng)技術(shù),特征編碼在圖像分類中得到快速發(fā)展,但在實(shí)際應(yīng)用中仍面臨不少挑戰(zhàn),如圖像類別多但帶標(biāo)簽訓(xùn)練樣本少、同類圖像變化大而非同類圖像區(qū)分度低、待識(shí)別類沒有訓(xùn)練樣本、圖像不同層級(jí)特征間編碼效率低、特征編碼算法運(yùn)行穩(wěn)定性差等。為應(yīng)對(duì)以上挑戰(zhàn),本文利用多種手工與深度網(wǎng)絡(luò)特征表示形式,開展了基于特征編碼的圖像分類技術(shù)研究,主要工作和創(chuàng)新點(diǎn)有:1、提出一種基于多層字典學(xué)習(xí)與特征編碼的圖像分類模型,將原圖像整體級(jí)手工或深度網(wǎng)絡(luò)特征轉(zhuǎn)換成深層編碼特征。與基于單層字典學(xué)習(xí)的特征編碼方法相比,所提模型能夠減少原圖像數(shù)據(jù)中噪聲影響,增強(qiáng)字典原子魯棒性,提高含噪圖像的分類效果。通過逐層字典學(xué)習(xí)與特征編碼實(shí)現(xiàn)原圖像特征的連續(xù)非線性投影變換,增大了非同類編碼系數(shù)特征的分離性。得益于分類器監(jiān)督訓(xùn)練和多層學(xué)習(xí)整合,充分挖掘了圖像數(shù)據(jù)中復(fù)雜的結(jié)構(gòu)信息,提升原圖像整體級(jí)特征的判別性。后,通過利用拉普拉斯圖矩陣來避免編碼特征中值的產(chǎn)生,減少了過擬合風(fēng)險(xiǎn)及測(cè)試圖像分類誤差。與單層特征編碼方法和深度網(wǎng)絡(luò)模型相比,所提模型兼顧了圖像分類正確率與運(yùn)行效率,在多種基準(zhǔn)圖像庫上的實(shí)驗(yàn)結(jié)果展示了優(yōu)異的分類性能。2、提出一種類稀疏分布編碼特征生成方法,實(shí)現(xiàn)了圖像樣本更好的分類。針對(duì)圖像分類中編碼特征生成機(jī)制問題,所提方法首先利用訓(xùn)練樣本類標(biāo)簽建立標(biāo)簽信息感知項(xiàng),通過增強(qiáng)同類樣本編碼系數(shù)值、抑制非同.

1037237增量型編碼器的原理及應(yīng)用上海秉銘DFS60B-S4CA04000碼系數(shù)值,產(chǎn)生具有類一致稀疏分布的編碼特征;其次利用樣本局部結(jié)構(gòu)信息構(gòu)建圖正則化項(xiàng),與類標(biāo)簽感知項(xiàng)共同作用既能生成更平滑的稀疏編碼特征,又可以學(xué)到魯棒的字典;另外引入支持向量分類器項(xiàng),實(shí)現(xiàn)了非同類編碼特征的大間隔分離。以上各項(xiàng)在學(xué)習(xí)過程中相互作用和強(qiáng)化,終將原圖像特征變換成更適宜分類的類稀疏分布編碼特征。由于構(gòu)建的約束項(xiàng)均采用L2范數(shù),避免了耗時(shí)的L0/L1范數(shù)求解過程,使得所提方法能夠滿足圖像實(shí)時(shí)分類需求。實(shí)驗(yàn)結(jié)果表明,所提方法產(chǎn)生的類稀疏分布編碼特征增強(qiáng)了各類原手工或深度網(wǎng)絡(luò)特征的判別性。3、針對(duì)歸納式和直推式零樣本圖像分類場(chǎng)景,分別提出兩種基于堆疊語義自編碼器的分類模型。在歸納式零樣本圖像分類場(chǎng)景中,非可見類測(cè)試圖像在訓(xùn)練階段不可獲取,此時(shí)如何將可見類數(shù)據(jù)中學(xué)習(xí)的知識(shí)遷移至非可見類數(shù)據(jù)中至關(guān)重要。為此,提出一種基于流形配準(zhǔn)的堆疊語義自編碼器模型,可以建立圖像特征空間、語義描述空間和類標(biāo)簽空間之間的緊致關(guān)系,縮小語義鴻溝;通過在模型中融入流形配準(zhǔn)項(xiàng),有效*了類域鴻溝。與相關(guān)零樣本圖像分類方法相比,模型的泛化能力更強(qiáng),能夠在可見/非可見類數(shù)據(jù)間進(jìn)行高效知識(shí)遷移。針對(duì)非可見類測(cè)試圖像在訓(xùn)練階段可獲取的直推式分類場(chǎng)景,進(jìn)一步提出域感知堆疊語義自編碼器模型,由兩個(gè)存在知識(shí)交互的并列堆疊自編碼器組成,其中一個(gè)基于可見類訓(xùn)練圖像構(gòu)建,另一個(gè)用來擬合非可見類測(cè)試圖像。實(shí)驗(yàn)結(jié)果顯示所提兩個(gè)“編碼—解碼”范式的零樣本圖像分類模型,在傳統(tǒng)和廣義分類效果評(píng)價(jià)準(zhǔn)則下均取得優(yōu)異性能。