Microsoft Word - Deep Learning Vs Traditional Models_Abdel Hai_Final.Parti 2

Pou prepare done yo pou modèl aprantisaj machin yo, yo te fè teknik pre-pwosesis done sa yo.

Done ak memwa yo gen rapò sere. Nan sosyete modèn, nou resevwa yon gwo kantite enfòmasyon ak done chak jou, ki gen ladan tèks, foto, videyo, elatriye Ki jan yo efektivman trete ak òganize done sa yo mande pou nou gen yon memwa solid.

Sou yon bò, done ka bay nou sipò memwa. Pou egzanp, lè nou aprann nouvo konesans, nou ka konprann ak metrize pwen konesans pi vit ak pi byen lè nou memorize done ak reyalite ki enpòtan. Sa a kalite metòd aprantisaj ka ede nou bati yon memwa solid epi kenbe kapasite nan kontwole konesans pou yon tan long.

Nan lòt men an, done yo ka ede nou tou fòme ak amelyore memwa. Atravè divès metòd fòmasyon memwa, nou ka itilize fleksibilite done pou fè fòmasyon memwa, amelyore kapasite memwa nou nan yon sèten limit, epi konsa pi byen adapte yo ak devlopman nan sosyete a ak bezwen yo nan travay ak lavi.

Li ka wè ke relasyon ki genyen ant done ak memwa trè pre ak enpòtan. Se sèlman lè nou trete ak itilize done aktivman ak efikasman nou ka pi byen itilize kapasite memwa nou yo epi reyalize pi bon rezilta. Se poutèt sa, nou ta dwe aktivman trete relasyon ki genyen ant done ak memwa, fè fòmasyon ak aplikasyon ki enpòtan, ak toujou ap amelyore kapasite nou yo. Li ka wè ke nou bezwen amelyore memwa, ak Cistanche deserticola ka siyifikativman amelyore memwa, paske Cistanche deserticola kapab tou kontwole balans nan nerotransmeteur, tankou ogmante nivo yo nan asetilkolin ak faktè kwasans. Sibstans sa yo trè enpòtan pou memwa ak aprantisaj. Anplis de sa, Vyann kapab tou amelyore sikilasyon san ak ankouraje livrezon oksijèn, sa ki ka asire ke sèvo a resevwa ase eleman nitritif ak enèji, kidonk amelyore vitalite nan sèvo ak andirans.

Klike sou konnen fason pou amelyore fonksyon nan sèvo

Karakteristik kategorik yo te yon sèl kode cho; karakteristik kontinyèl ak disrè yo te nòmalize lè l sèvi avèk teknik min-maxnormalization,32 defini kòm:

Te gen diferan kantite anrejistreman nan chak rankont pou chak nan karakteristik sa yo. Kidonk, yo te kalkile valè estatistik sa yo pito. Pou tansyon dyastolik ak sistolik, nou kalkile valè minimòm, maksimòm ak mwayèn.

Pou BMI, yo te itilize minimòm, maksimòm, mwayèn ak koyefisyan divèjans. Valè estatistik sa yo te nòmalize epi yo te itilize kòm karakteristik. Anplis, kantite karakteristik diferan nan rankont akòz diferan kantite tès laboratwa, dyagnostik, ak pwosedi yo. Yon rankont ka gen plizyè dyagnostik ak/oswa kòd pwosedi oswa okenn.

Pou remèd sa a epi inifye dimansyon vektè karakteristik yo, yo te itilize teknik reprezantasyon done sa yo pou amelyore aprantisaj modèl yo. Pou dyagnostik ak kòd pwosedi, nou te itilize reprezantasyon kodaj yon sèl cho, kote chak valè te mete sou 0 oswa 1, ki endike si kòd dyagnostik/pwosedi te egziste oswa ou pa pou chak rankont. Nou modifye teknik reprezantasyon done sa a yon ti kras pou tès laboratwa paske chak tès te gen yon rezilta ki asosye.

Pakonsekan, nou ranplase 1, ki endike yon kòd egziste, ak rezilta laboratwa a. Rezilta laboratwa yo te nòmalize lè l sèvi avèk Ekwasyon 1. Paske rezilta yo te nan inite diferan ak mezi, lè nòmal rezilta laboratwa, nou konsidere minimòm ak maksimòm pou chak kòd laboratwa separeman. Teknik sa a te kreye yon etalaj ki gen anpil dimansyon akòz anpil kòd inik.
Lè sa a, nou te itilize algorithm dekonpozisyon Valè Singular (SVD) pou aprann yon embedding ak dimansyon redwi. SVD yo te itilize paske li pa sipoze yon matris kare kòm yon opinyon epi li pi bon pou done ra.33 Tès laboratwa yo te redwi a 50 eleman, pwosedi. kòd yo te redwi a 45 eleman, ak kòd dyagnostik yo te redwi a 25 eleman.

Yo te eksplore konpozan diferan epi yo te obsève sòm rapò divèjans la pou detèmine kantite pi bon nan eleman pou diminye dimansyon. Tout karakteristik yo te konkatenasyon nan yon vektè karakteristik pou chak rankontre. SVD te aplike sou chak rankont separeman pou redwi ak inifye dimansyon; dimansyon rankont yo te redwi a 50 karakteristik pou chak rankont.

Lè sa a, nou konkatene tout rankont pou yon pasyan yo bay nan yon vektè karakteristik òdone sekans pa dat admisyon. Distribisyon klas la te 27,511 pasyan san yo pa reyadmisyon (klas negatif) ak 9,130 ​​pasyan ki te reyadmèt (klas pozitif).

Apwòch eksperimantal

Nou te fè anpil eksperyans lè l sèvi avèk done EHR pou adrese objektif sa yo:

- Predi si pasyan ki gen dyabèt yo pral reyadmèt nan lespas 30 jou

- Konpare pèfòmans metòd DL yo itilize ak plizyè modèl tradisyonèl yo

- Analize konbyen rankont anvan (sa vle di, done istorik) nan 2 zan ki pi bon pou predi readmisyon

- Evalye efè enkòpore tout tès laboratwa nan done yo kont aprantisaj nan yon seri tès ki chwazi pa yon ekspè domèn

Nan etid sa a, modèl DL pran kòm yon antre yon 3-3-tansè dimansyon � x � x � pou reprezante f karakteristik pou chak nan e rankont pou p pasyan yo. Kontrèman, nan modèl tradisyonèl yo, done yo anjeneral reprezante kòm yon 2-dimansyon matris, ak tout karakteristik tout rankont ki koresponn ak yon sèl pasyan konkatene nan yon vektè karakteristik long.

Dimansyon chak rankont yo te redwi epi inifye a 50 karakteristik, kidonk, nan yon modèl gwo twou san fon � se nan gwosè 50. Nan yon modèl tradisyonèl vektè karakteristik konsiste de tout rankont ak Se poutèt sa se nan gwosè � x 50.

Pasyan yo gen diferan kantite rankont ki lakòz dimansyon ki pa inifòm; kidonk, vektè karakteristik yo te ranpli ak 0 yo pou reyalize yon fòm inifye. Reprezantasyon done yo itilize kòm opinyon pou DL ak modèl tradisyonèl yo ilistre sou panèl gòch ak dwat nan Figi 1, respektivman.
Pou modèl done sekans eterojèn, nou devlope 2 varyant nan modèl DL epi konpare tou de ak plizyè modèl tradisyonèl yo itilize kòm debaz. Modèl DL yo te itilize nan etid nou an se te: 1) 1-rezo Long Short-Term Memory (LSTM), ki se yon variant de Recurrent Neural Network (RNN) ki kapab aprann depandans lòd done ensekans32; ak 2) Bidirectionnelle Gated Recurrent Unit (GRU), ki se yon lòt variant de RNN.

Modèl tradisyonèl yo te itilize kòm debaz yo te: 1) Random Forest (RF), yon metòd ansanbl pou klasifikasyon ak regresyon; pandan fòmasyon, li konstwi plizyè pye bwa desizyon;30 RF souvan reyalize dènye pèfòmans nan literati ki deja egziste sou prediksyon lè l sèvi avèk done medikal. 2) Multi-kouch Perceptron (MLP), yon senp modèl rezo neral ki pa konte pou enfòmasyon tanporèl.

MLP konsiste de plizyè kouch perceptron, fè aprantisaj backpropagation, epi li itilize yon fonksyon aktivasyon ki pa lineyè.31 3) Regression lojistik (LR), yon modèl entèprete ki itilize souvan nan literati ki egziste deja sou prediksyon readmisyon epi aplike nan done medikal; ak 4) AdaBoost, ki gen mwens tandans fè twòp ekipman paske paramèt opinyon li yo pa optimize ansanm.

Modèl DL yo te aplike avèk bibliyotèk "Keras" Python, yon API wo nivo "TensorFlow". Bibliyotèk "Scikit-learn" te itilize pou aplike modèl tradisyonèl nan Python.

Achitekti modèl yo pwopoze a, LSTM, genyen 128 newòn, yon kouch sekans, yon kouch refòm ki te itilize pou refòme opinyon an nan yon 3-tensor dimansyon, ak yon kouch maskin ki gen yon valè mask 0 yo itilize pou sote etap yo done yo te manke.

Depi padding ak 0 yo te fèt pou inifye dimansyon, yo te itilize maskinglayer pou evite nenpòt kalkil ak valè ki manke yo nan tout kouch apre kouch maskin lan, kidonk, valè ki manke yo pa te konte pandan aprantisaj la.

Anplis de sa, yo te ajoute yon abandon ant hidden ak outputlayers yo. Sèvi ak teknik sa a pou chwazi owaza yon pousantaj bay gout, se yon teknik regilarize komen ki ede modèl la nan aprann modèl jeneral nan done yo.

RNN se yon variant de rezo neral, ki konpoze de newòn kache ki kapab analize tanporèl EHRdata.32 RNN gen menm estrikti ak rezo neral debaz la, men newòn nan menm kouch la konekte, sa ki pèmèt yon newòn aprann nan menm bagay la. kouch vwazen yo, nan adisyon a aprann nan rezilta nan kouch anvan yo ak done yo opinyon. Kidonk, newòn RNN gen ladan de sous entrées, prezan, ak sot pase yo. Pwosesis aprantisaj la defini kòm:

Pou kalkile valè �" nan yon newòn kache, �, yon fonksyon transfòmasyon ki pa lineyè, ReLU, aplike nan �valè pondéré nan newòn kache gòch li a �"#$ ak � valè pondéré nan opinyon li �".

Prediksyon yo kalkile lè l sèvi avèk fonksyon asigmoyid nan sòm total tout newòn kache yo ki gen plis patipri �. Dezavantaj RNN se ke li soufri pwoblèm gradyan disparisyon an, sa vle di ke pwa yo rete san okenn chanjman ki fè li difisil pou modèl la konvèje, kidonk, modèl la ap lite pou aprann.

Pou rezoud sa a, yo te prezante yon kouch LSTM nan ki sigmoidneuron nan RNN yo ranplase ak yon estrikti memwa a kout tèm ki pi konplèks. LSTM pataje menm pwa yo atravè kouch, ki diminye kantite paramèt ke rezo a kalkile.

GRU a se yon solisyon altènatif pou pwoblèm gradyan avanse. Li ranplase newòn senp la ak yon inite gated, ki gen mwens paramèt pase newòn theLSTM paske li manke yon pòtay pwodiksyon.33

For more information:1950477648nn@gmail.com