Amelyore ekstraksyon paramèt karakteristik soti nan siyal lapawòl lè l sèvi avèk algorithm aprantisaj machin (1)

Résumé: Rekonesans lapawòl refere a kapasite lojisyèl oswa pyès ki nan konpitè pou resevwa yon siyal lapawòl, idantifye karakteristik oratè a nan siyal lapawòl, epi rekonèt oratè a apre sa. An jeneral, pwosesis rekonesans lapawòl la enplike twa etap prensipal: pwosesis acoustic, ekstraksyon karakteristik, ak klasifikasyon / rekonesans. Objektif ekstraksyon karakteristik se ilistre yon siyal lapawòl lè l sèvi avèk yon kantite predetèmine nan eleman siyal. Sa a se paske tout enfòmasyon nan siyal acoustic la twòp ankonbran pou okipe, ak kèk enfòmasyon pa enpòtan nan travay idantifikasyon an. Etid sa a pwopoze yon apwòch ki baze sou aprantisaj machin ki fè ekstraksyon paramèt karakteristik nan siyal lapawòl pou amelyore pèfòmans aplikasyon pou rekonesans lapawòl nan anviwònman vil entelijan an tan reyèl. Anplis, prensip kat jeyografik yon blòk memwa prensipal nan kachèt la itilize avèk efikasite pou diminye tan informatique. Gwosè blòk memwa kachèt la se yon paramèt ki afekte pèfòmans kachèt la anpil. An patikilye, aplikasyon an nan pwosesis sa yo nan sistèm an tan reyèl mande pou yon gwo vitès kalkil. Vitès pwosesis jwe yon wòl enpòtan nan rekonesans lapawòl nan sistèm an tan reyèl. Li mande pou itilize teknoloji modèn ak algoritm rapid ki ogmante akselerasyon nan ekstrè paramèt karakteristik yo nan siyal lapawòl. Pwoblèm ak overclocking pandan pwosesis dijital siyal lapawòl yo poko rezoud konplètman. Rezilta eksperimantal yo demontre ke metòd yo pwopoze a avèk siksè ekstrè karakteristik siyal yo epi reyalize pèfòmans klasifikasyon san pwoblèm konpare ak lòt algoritm rekonesans lapawòl konvansyonèl yo.

Cistanche deserticola

Mo kle: rekonesans lapawòl; paralèl informatique; distribye informatique; processeur multicore; ekstraksyon karakteristik; analiz espèk

1. Entwodiksyon

Etablisman apwòch kominikasyon ant moun ak teknoloji òdinatè se yon travay enpòtan nan entèlijans atifisyèl modèn. Youn nan metòd ki pi fasil pou itilizatè yo antre enfòmasyon se atravè siyal lapawòl. Se poutèt sa, teknoloji pwosesis siyal lapawòl ak zouti li yo te vin tounen yon pati nesesè nan sosyete enfòmasyon an. Rekonesans lapawòl se yon aspè rechèch esansyèl nan pwosesis siyal lapawòl ak yon teknik entèraksyon moun-òdinatè enpòtan anpil. Siyal lapawòl yo genyen enfòmasyon semantik, pèsonèl ak anviwònman [1]. Apwòch jeneral nan pwosesis siyal lapawòl se sèvi ak analiz kout tèm, nan ki siyal la divize an fenèt tan nan yon gwosè fiks, an konsideran ke paramèt siyal yo pa chanje. Yo mete yon sipèpoze ant fenèt yo pou jwenn yon reprezantasyon siyal ki pi egzak. Algoritm ekstraksyon karakteristik tankou analiz espèk ak prediksyon lineyè yo aplike nan chak fenèt. Sepandan, pwosesis sa yo ta dwe konsidere tou vitès ak tan.

Dezè ginseng

Distribisyon se yon enkyetid enpòtan nan plizyè domèn nan pwosesis siyal an tan reyèl. Rapò vitès pwosesis la ka ogmante lè w sèvi ak resous processeur avèk efikasite epi devlope algoritm nouvo ak rapid pou diminye tan pwosesis dijital la. Sepandan, pwoblèm enfòmatik pèfòmans-wo poko rezoud nèt [2]. Anplis, pwogrè sibstansyèl yo te fè nan rekonesans lapawòl otomatik ak devlopman nan pyès ki nan konpitè pwosesis siyal dijital ak lojisyèl. Sepandan, malgre pwogrè sa yo, machin yo pa ka matche ak pèfòmans tokay imen yo an tèm de presizyon ak rekonesans vitès, patikilyèman nan rekonesans lapawòl endepandan. Kidonk, yon gwo kantite rechèch ki te fèt sou rekonesans lapawòl te konsantre sou pwoblèm rekonesans lapawòl ki endepandan de moun ki pale a, akòz pakèt aplikasyon ak limit teknik rekonesans lapawòl ki disponib [3].

An rezime, kontribisyon prensipal yo nan etid la se jan sa a:

Cistanche te

Klike la a pou w wè pwodwi te Cistanche deserticola

【Mande plis】 Imèl:cindy.xue@wecistanche.com / Whats App: 0086 18599088692 / Wechat: 18599088692

Pwosesis pou idantifye yon moun pa siyal lapawòl konsiste de plizyè etap. Pami yo, kèk etap mande pou plis tan kalkil. Sa a se yon analiz espèk. Youn nan paramèt ki espesyalman enpòtan nan algoritm aprantisaj machin se tan fòmasyon an. Nan travay sa a, nou te jwenn ke pwosesis la nan ekstrè karakteristik enpòtan pou idantifikasyon siyal lapawòl. Anplis de sa, li pran anpil tan nan aprantisaj machin. Li etabli ke pwosesis la nan analiz espèk konsiste de operasyon endepandan, ak paralelizasyon se posib.

Eksperyans yo montre ke transfòmasyon espèk FFT ak DCT bay bon rezilta nan analiz espèk. Pwosesis analiz espèk la valab pou chak segman siyal lapawòl la. Sa pèmèt nou byen klè distenge karakteristik sa yo ak siyal lapawòl. Avèk èd nan zouti OpenMP ak TBB, yo te devlope yon algorithm informatique paralèl ki te fè li posib akselere kalkil yo.

Gwosè segman an enpòtan lè divize yon siyal lapawòl an segman. Pandan eksperyans yo, li te jwenn ke gwosè a nan segman nan siyal la lapawòl depann sou memwa nan kachèt nan processeur santral la. An patikilye, matche segman ak gwosè kachèt nan processeurs multicore yo te jwenn yon efè pozitif sou vitès enfòmatik nan aprantisaj machin.

Yo pwopoze yon nouvo metòd aplikasyon paralèl pou transfòmasyon espektral siyal yo pou fè ekstraksyon paramèt karakteristik nan siyal lapawòl yo lè l sèvi avèk yon algorithm aprantisaj machin sou processeur milticore lè l sèvi avèk TBB ak OpenMP.

Li te jwenn tou ke itilizasyon an efikas nan prensip la nan kat blòk memwa prensipal la nan kachèt la ak gwosè a nan blòk la memwa kachèt ka ogmante vitès la pwosesis.

Cistanche sipleman tou pre m '-Amelyore memwa

Rès papye sa a òganize jan sa a. Seksyon 2 revize etid ki egziste deja pou ekstrè pwopriyete espesifik siyal lapawòl. Seksyon 3 dekri etap ekstraksyon karakteristik yo ak eksperyans. Seksyon 4 prezante algorithm enfòmatik wo-pèfòmans pwopoze a pou ekstrè paramèt karakteristik yo nan siyal lapawòl an detay. Yo diskite rezilta eksperimantal ki baze sou aplikasyon nou an nan Seksyon 5. Seksyon 6 mete aksan sou limit metòd yo pwopoze a. Finalman, Seksyon 7 konkli etid la nan rezime rezilta yo epi sonje direksyon rechèch nan lavni.

2. Travay ki gen rapò

Nouvo metòd, algoritm, ak plis aplikasyon modèn yo kounye a ap devlope ak amelyore pou segmantasyon nan siyal lapawòl ak kalkil la nan endikatè parametrik nan fragman chwazi, kidonk kreye yon espektrogram nan siyal lapawòl lè l sèvi avèk analiz espèks [4-7]. Idantifikasyon oratè ak klip vwa divèsifye atravè mond lan se yon travay enpòtan ak defi, espesyalman nan ekstrè karakteristik wòdpòte ak diskriminasyon [8]. Yon nouvo Mel Frequency Cepstral Coefficient (MFCC) karakteristik ekstraksyon sistèm ki pi rapid ak enèji efikas pase reyalizasyon tradisyonèl MFCC te pwopoze pa Korkmaz et al. [9]. Olye pou yo sèvi ak yon filtè pre-ensistans segondè-pase, yo te itilize yon filtè ki ba-pase. Yo te aplike yon filtè bandpass ak yon filtè high-pass paske pre-anfaz ki nesesè pou ranfòse enèji siyal la nan frekans segondè yo. Nan travay anvan nou an [10], nou te prezante yon nouvo metòd ki baze sou MFCC pou idantifikasyon oratè. Olye pou nou itilize MFCC konvansyonèl yo, nou anplwaye piksèl ki soti nan espektwogram Mel la kòm seri karakteristik nou an. Yo te transfòme spèktrogram nan yon 2-etalaj D pou kreye yon nouvo seri done. Pou idantifye oratè a, yo te mete plizyè algoritm aprantisaj an pratik ak yon 10-teknik validasyon kwa. Avèk èd yon perceptron milti-kouch (MLP) ak yon fonksyon deklanchman tanh, yo te reyalize pi bon presizyon nan 90.2 pousan.

Ekstraksyon karakteristik reyalize lè w chanje fòm ond lapawòl nan yon fòm reprezantasyon parametrik nan yon pousantaj done relativman pi piti pou pwosesis ak analiz ki vin apre [11–14]. Apwòch ekstraksyon karakteristik anjeneral bay yon vektè karakteristik miltidimansyonèl pou chak siyal lapawòl. Ekstraksyon karakteristik se pòsyon ki pi enpòtan nan rekonesans oratè. Karakteristik lapawòl yo gen yon pati enpòtan nan segregasyon yon moun ki pale ak lòt moun. Ekstraksyon karakteristik diminye grandè siyal lapawòl la, san li pa lakòz okenn domaj nan pouvwa siyal lapawòl la [15–17]. Nan [18], otè yo te entwodui yon nouvo apwòch ki eksplwate ajisteman nan gwosè ak chanjman paramèt nan fennèt analiz espèk yo itilize pou kalkile premye transfòmasyon Fourier a kout tan pou amelyore pèfòmans yon rekonesans lapawòl otomatik ki depann de moun ki pale. (ASR) sistèm. Nan absans doktè, pwofàn yo ka anplwaye sistèm asistans desizyon ki te kreye lè l sèvi avèk apwòch entèlijans atifisyèl. Ka deteksyon bonè ak ki pa-invasif estati kè ka akonpli lè l sèvi avèk siyal fonokardyogram (PCG) [19-21].

Rezo neral konvolusyonèl (CNNs) yo te demontre avèk siksè similye lokalite estriktirèl nan espas karakteristik la, epitou yo itilize pisin nan yon rejyon frekans partial pou diminye varyasyon tradiksyon epi ajiste pou twoub ak ti chanjman nan espas karakteristik la [22]. Mukhamadiyev et al. pwopoze yon fen-a-fen gwo twou san fon rezo neral kache modèl Markov modèl rekonesans lapawòl ak yon ibrid koneksyonis tanporèl klasifikasyon (CTC)-atansyon rezo pou lang Ouzbek la ak dyalèk li yo. Apwòch yo pwopoze a diminye tan fòmasyon ak amelyore presizyon rekonesans lapawòl lè yo itilize efektivman fonksyon objektif CTC nan fòmasyon modèl atansyon [23]. Ekstraksyon karakteristik ak klasifikasyon lè l sèvi avèk yon modèl rezo neral konvolusyonèl (CNN), ki divize siyal son kè nan nòmal ak nòmal dirèkteman endepandan de yon elektwokadyogram (ECG), te pwopoze nan [24]. Yo reklame ke presizyon nan klasifikasyon pi wo nan CNN 1D pase nan CNN 2D pou siyal son kè yo itilize nan etid sa a lè nwayo konvolusyon an mwens pase 52 paske yon nwayo konvolusyon gwo ka mennen nan konpleksite enfòmatik epi li pran tan de pli zan pli. . Nan [25], yo te fòme yon rezo neral pwofon pou maksimize presizyon dèyè sekans eta modèl acoustic konsènan sekans karakteristik lapawòl yo lè l sèvi avèk baz done TIMIT (TIMIT Acoustic-Phonetic Continuous Speech Corpus).

3. Pre-pwosesis: Apèsi sou materyèl

Cistanche sipleman tou pre m '-Amelyore memwa

Pou rezon sa a, devlopman nan algoritm rapid pou ekstrè paramèt karakteristik nan siyal lapawòl ak reprezantasyon parametrik, ekstraksyon an nan echantiyon itil ak enfòmatif pou pwosesis, ak devlopman nan pwogram pou aplikasyon an nan spèktrogram nan segman acoustic chwazi yo endispansab.

Sistèm rekonesans lapawòl konpoze de de sous-sistèm prensipal:

Pwosesis prensipal la nan siyal lapawòl (fonogram);

Klasifikasyon senbòl acoustic lè l sèvi avèk yon algorithm entèlijan (sèktrogram).

Premye subsistèm nan jenere senbòl acoustic kòm yon seri pwopriyete acoustic enfòmatif nan siyal yo ak karakteristik siyal yo. Dezyèm subsistèm konvèti siyal lapawòl nan yon fòm parametrik ki baze sou karakteristik acoustik yo jwenn. Pwosesis siyal lapawòl konsiste de etap sa yo:

Separasyon nan limit yo nan siyal la lapawòl;

Filtraj dijital;

Segmantasyon;

Aplikasyon nan yon fenèt atenuasyon;

Transfòmasyon spectral, ak nòmalizasyon frekans espèk.

Etap sa yo yo itilize anpil pou ekstrè paramèt karakteristik nan siyal lapawòl, epi yo konsidere karakteristik prensipal yo nan sa ki annapre yo.

3.1. Separasyon nan limit

Ekstraksyon nan sèlman pati nan lapawòl nan siyal la fèk ap rantre oswa detèminasyon nan moman yo kòmanse ak fini nan yon fraz nan yon anviwònman ki fè bwi se yon travay esansyèl nan pwosesis lapawòl. Pwopriyete sa yo nan siyal la lapawòl yo itilize pou rezoud pwoblèm sa a: enèji a kout tèm nan siyal la lapawòl, kantite pwen yo kwaze nan zewo, dansite distribisyon an nan valè yo nan jaden an silans nan siyal la, ak la. entropi espektral. Sistèm rekonesans lapawòl tradisyonèl yo itilize teknik ki baze sou enèji pasajè ak espektral yon siyal (egzanp, deteksyon aktivite vwa) pou detèmine limit lapawòl ki soti nan siyal lapawòl k ap rantre yo [26–28].

Paramèt prensipal siyal lapawòl yo se enèji a kout tèm nan siyal lapawòl ak kantite pwen ki pase nan zewo. Kòm yon règ, paramèt yo nan yon siyal lapawòl chanje rapidman sou tan; Se poutèt sa, li nòmal pou trete yon siyal lapawòl an fragman ki gen 10 a 30 ms nan longè ki pa sipèpoze. Siyal lapawòl la estasyonè nan ranje sa a, epi zòn silans nan siyal lapawòl la retire lè yo kalkile enèji pasajè a. Algorithm pou rezoud pwoblèm sa a divize an N sekans 256 valè enèji kout tèm pwochen siyal lapawòl.

Kalkil enèji chak fragman lè w divize siyal lapawòl la apwopriye pou enfòmatik paralèl ak distribye. Chak fragman trete poukont yo. Si yo aplike pwosesis nan yon multiproseseur n-nwayo, li pral posib pou kalkile enèji n fragman an menm tan. Se poutèt sa, li posib ogmante efikasite nan pwosesis paralèl pandan etap sa a [29-32].

3.2. Kantite Zewo-Travèse

Yon travèse zewo se yon pwen kote siy yon fonksyon matematik chanje (egzanp, soti nan pozitif nan negatif), ki reprezante pa yon entèsepte aks la (valè zewo) nan graf fonksyon an [33]. Frekans zewo-travèse nan yon siyal ka endikatè ki pi senp nan pwopriyete espèk li yo. Pou egzanp, kantite pwen ki pase nan zewo nan yon siyal lapawòl ka detèmine lè l sèvi avèk ekwasyon sa a:

Figi 1. Metòd separasyon lapawòl ki baze sou analiz entropi espèk.

3.3. Filtraj dijital

Anplis de yon siyal tipik, itil, divès kalite bri yo prezan. Kòm bri afekte bon jan kalite a nan sistèm rekonesans lapawòl, fè fas ak bri se yon pwoblèm ijan. Yo itilize de kalite filtè dijital pou diminye nivo bri nan sistèm nan: yon filtè liy ak yon filtè inisyal. Yon filtè lineyè ka konsidere kòm yon konbinezon de filtè ba ak segondè-frekans jan li kaptire tout frekans ki ba ak segondè. Yo aplike filtraj inisyal pou minimize enpak twoub lokal yo sou mak karakteristik yo itilize pou idantifikasyon ki vin apre yo. Yon siyal lapawòl dwe pase nan yon filtè pasaj ba pou aliyman espèk [35].

3.4. Segmantasyon

Segmantasyon se pwosesis pou divize yon siyal lapawòl an fragman disrè, ki pa sipèpoze. Siyal la anjeneral divize an inite lapawòl tankou fraz, mo, silab, fonèm, oswa menm pi piti inite fonetik. Segmantasyon nan anrejistreman ki gen ekspresyon anpil moun ki pale ka konpoze de atribiye moso nan ekspresyon yo bay moun ki pale an patikilye. Tèm "segman estasyon" yo pafwa itilize pou refere a yon divizyon siyal lapawòl an ankadreman anvan paramèt li [36,37].

3.5. Transfòmasyon spectral

Li nesesè yo fè distenksyon ant karakteristik prensipal yo nan siyal lapawòl ki itilize nan etap yo pita nan pwosesis rekonesans lapawòl. Karakteristik yo inisyal yo detèmine pa analize pwopriyete yo espèk nan siyal yo lapawòl. Algorithm transfòmasyon Fourier rapid la souvan itilize pou jwenn frekans espèk yon siyal lapawòl [38,39].

3.6. Nòmalizasyon nan frekans espèk

Tout pwosesis enfòmatik nan algoritm entèlijan baze sou nimewo desimal k ap deplase. Se poutèt sa, paramèt objè yo ki klase lè l sèvi avèk rezo neral yo limite nan seri a [{{0}}.0, 1.0]. Se spectre ki kapab lakòz nòmal ant 0 ak 1 pou aplike pwosesis espèk lè l sèvi avèk rezo neral la. Pou reyalize sa, chak eleman vektè divize an eleman maksimòm li yo.

Metòd pwosesis spektral pèmèt itilizasyon tout echantiyon done yo jwenn nan siyal lapawòl la. Anpil siyal lapawòl gen yon estrikti frekans espesifik ak pwopriyete espèk. Metòd espèk yo bay gwo presizyon pwosesis siyal lapawòl. Dezavantaj yo nan pwosesis espèk yo enkli fleksibilite ki ba nan karakteristik lokal yo nan siyal yo, yon mank de dimansyon espèk, ak relativman gwo depans enfòmatik.

Transfòmasyon Fourier, analiz wavelet, ak anpil lòt algoritm yo itilize anpil nan pwosesis espèk siyal lapawòl. Transfòmasyon Fourier yo itilize nan anpil domèn syans, ki gen ladan pwosesis lapawòl. Nan pwosesis siyal lapawòl, transfòmasyon Fourier konvèti siyal la soti nan jaden an tan nan jaden an espèk kòm yon eleman frekans [40].

Nan etid anvan yo, transfòmasyon Fourier disrè (DFT), transfòmasyon kosinis disrè (DCT), transfòmasyon Fourier kout tèm, ak transfòmasyon wavelet yo te aplike pou analiz espèk. Metòd sa yo te itilize pou transfòme fragman yon siyal lapawòl nan domèn frekans ak kalkile spectre la. Pakè TBB ak OpenMP yo te itilize pou kreye algoritm paralèl pou transfòmasyon espèk yo. Nan metòd sa yo, kòmandman an divize siyal la an ankadreman; pa egzanp, N=16, 32, …, oswa 4096 pou chak ankadreman [4]. Gwosè chak ankadreman kreye egal a gwosè blòk memwa kachèt la paske memwa kachèt se yon faktè ki afekte efikasite pwosesis paralèl la. Rezilta akselerasyon yo montre nan Figi2.

Figi 2. Rezilta akselerasyon pou (a) kat ak (b) processeurs uit nwayo.

Pou aplikasyon lojisyèl algoritm pwosesis paralèl yo, pwosesis seri ak paralèl yo te fèt sou kat ak uit-debaz processeurs, ki te aplike lè l sèvi avèk òdinatè pèsonèl ak sèvè, jan lis nan Tablo 1.

Tablo 1. Karakteristik processeurs Intel.

Karakteristik prensipal algorithm DCT a se peryodikite. Yon avantaj nan DCT se ke li gen tandans konsantre pi fò nan enèji siyal la sou yon ti kantite faktè. Ekwasyon sa yo bay eleman matris koyefisyan yo:

kote L(k) se valè DCT a, k se yon endèks koyefisyan, x(n) reprezante atik done, ak N se gwosè ankadreman an.

Paramèt analiz Fourier yo se baz metòd yo itilize pou jenere vektè karakteristik nan pifò sistèm rekonesans lapawòl nan pwosesis dijital siyal lapawòl nan domèn espektral la. Koefisyan cepstral Mel-frekans (MFCCs) [41] ak lineyè prediksyon kodaj (LPC) teknik [42,43] yo itilize nan analiz Fourier pou jenere imaj spèktrogram soti nan siyal lapawòl. Spectre yo ke yo jwenn lè l sèvi avèk analiz Fourier bay enfòmasyon kout ak egzak konsènan yon siyal lapawòl, jan sa montre nan Figi 3.

Figi 3. DFT: (a) chanjman nan ranje frekans nan domèn tan ak (b) espektwogram.

Siyal ki genyen de dimansyon (2D) yo te itilize pou analiz espèk nan eksperyans yo. Karakteristik analiz espèk 2D yo itilize nan algoritm tretman imaj paralèl yo apwopriye pou pwosesis paralèl nan processeurs multicore [38]. An patikilye, vektè transfòmasyon pou pi devan ak envès ak matris gen dimansyon binè, ak konpatibilite nan achitekti multicore processeur sa a ka efektivman ogmante vitès enfòmatik la. Se poutèt sa, nou aplike pwosesis sekans ak paralèl sou yon òdinatè ki gen diferan karakteristik processeur pou aplikasyon kenkayri algoritm yo ki te itilize pou trete siyal 2D (Tablo 2)

Tablo 2. Karakteristik aplikasyon Intel processeurs.

Tout siyal 2D a te divize an fragman ki idantik nan diferan gwosè nan chak etap [44]. Valè fragman yo chwazi yo te ant rezolisyon pixel 16 × 16 ak 1024 × 1024. Vitès algorithm DCT paralèl la lè l sèvi avèk pake OpenMP la konpare ak algorithm sekansyal la prezante nan Figi 4 Itilizasyon yon analiz spectral paralèl 2D. algorithm sou processeurs multicore bay yon rezilta overclocking ki pre kantite nwayo.

Figi 4. Rezilta akselerasyon pou analiz spectral paralèl 2D.