|
Innovatsiyalar vazirligi
|
| bet | 3/4 | | Sana | 10.12.2023 | | Hajmi | 1,15 Mb. | | #114877 |
Bog'liq Suniy mustaqil ish1Standart RNN muammolari
Yo'qolib borayotgan gradient: Matn yaratish, mashina tarjimasi va fond bozorini bashorat qilish - takroriy neyron tarmoqlar bilan modellashtirilishi mumkin bo'lgan vaqtga bog'liq va ketma-ket ma'lumotlar muammolarining bir nechta misollari. Siz gradient muammosi RNNni o'qitishni qiyinlashtirishini bilib olasiz.
Portlash gradienti: Portlash gradienti neyron tarmog'i o'rgatilganda paydo bo'ladi va nishab parchalanish o'rniga eksponent ravishda o'sishga intiladi. Trening davomida hosil bo'ladigan katta xato gradientlari neyron tarmoq modeli og'irliklarida juda katta yangilanishlarga olib keladi, bu muammoning manbai hisoblanadi.
Takroriy neyron tarmog'ining afzalliklari va kamchiliklari
Afzalliklari:
RNN har bir ma'lumotni vaqt o'tishi bilan eslab qoladi. Bu vaqt seriyasini bashorat qilishda faqat oldingi kiritilgan ma'lumotlarni eslab qolish xususiyati tufayli foydalidir. Bu uzoq qisqa muddatli xotira deb ataladi .
Takroriy neyron tarmoqlar hatto samarali piksellar doirasini kengaytirish uchun konvolyutsion qatlamlar bilan ham qo'llaniladi.
Kamchiliklari:
Gradientning yo'qolishi va portlashi muammolari.
RNNni o'rgatish juda qiyin ish.
Tanh yoki relu faollashtirish funksiyasi sifatida foydalanilsa, u juda uzun ketma-ketliklarni qayta ishlay olmaydi.
Takroriy neyron tarmog'ining ilovalari
1.Tilni modellashtirish va matn yaratish
2.Nutqni aniqlash
3.Mashina tarjimasi
4.Tasvirni aniqlash, Yuzni aniqlash
5.Vaqt seriyalarini bashorat qilish
Doktor Jon J. Xopfild tomonidan ixtiro qilingan Xopfild neyron tarmoqlari "n" to'liq bog'langan takrorlanuvchi neyronlarning bir qatlamidan iborat . U odatda avtomatik assotsiatsiya va optimallashtirish vazifalarini bajarishda ishlatiladi. U birlashtiruvchi interaktiv jarayon yordamida hisoblab chiqiladi va u bizning oddiy neyron tarmoqlarimizdan farqli javob hosil qiladi.
|
| |
