Eslashni o'rganish: uzluksiz o'rganish uchun sinaptik plastiklik asosidagi asos

Oleksiy Ostapenko, Tassilo Klein, Moin Nabi (ML Research)

Odamlar umr bo'yi uzluksiz o'rganish qobiliyatiga ega. Ilgari o'rganilgan bilimlarni yangi vaziyatlar, muhit va vazifalarga qo'llash qobiliyati inson aqlining asosiy xususiyatini tashkil qiladi. Biologik darajada, bu odatda sinaps deb nomlangan asabiy ulanishlarda etarlicha uzoq vaqt davomida xotiralarni tanlab saqlash va boshqarish qobiliyatiga bog'liq. Biologik miyalardan farqli o'laroq, an'anaviy sun'iy asab tarmoqlari (ANN) neyronlar orasidagi sinaptik birikmalarning kuchini boshqarish qobiliyatiga ega emas. Bu ANNlarda xotiraning juda qisqa umr ko'rishiga olib keladi - bu ta'sir falokatni unutish deb nomlanadi.

So'nggi o'n yillikda sun'iy intellekt (AI) sohasidagi tadqiqotlarning aksariyati kompyuter o'yinlarini o'ynash, spam elektron pochta xabarlarini saralash, mushuklarni itlardan ajratish va nutqni bilish kabi ajratilgan, aniq belgilangan vazifalar bo'yicha inson darajasining ko'rsatkichlarini oshirishga qaratilgan edi. bir nechtasini nomlash. Natijada, kundalik hayotimizda bizni o'rab turgan AIning aksariyat qismini sun'iy tor aql yoki zaif AI deb atash mumkin. Kuchli AI, farqli o'laroq, har qanday aqlli vazifani bajara oladigan, doimiy o'rganish, tanlab unutish, yangi vazifalarga tezda moslashish va oldingi tajribalardan foydalanib, har qanday aqlli vazifani bajaradigan odamga o'xshash AIni anglatadi. Ushbu xususiyatlar yaqinda AI tadqiqotchilari tomonidan e'tiborga olinishni boshladi.

Nega doimiy o'rganish kerak? Doimiy o'zgaruvchan stsenariylarning kaliti

Zaif AIdan kuchli AIga o'tish yo'lidagi asosiy qiyinchiliklardan biri bilimlarni unutish va etishmayotganlikdir. Tanlab unutadigan odamlardan farqli o'laroq, mashinalar katastrofik tarzda unutishadi. Shunga ko'ra, "bola emaklashni, yurishni va keyin yugurishni o'rganadi" (~ Deyv Suvlari), AI yurishni o'rganganidan keyin sudralishni butunlay unutadi va yugurishni o'rganganidan keyin yurishni unutadi. Uzluksiz ta'lim olish muammosining echimlarini ko'rib chiqishdan oldin, AIga asoslangan kiyim-kechak katalogini izlashning oddiy misolini ko'rib chiqaylik.

Fasl (A) dan kiyim-kechak buyumlarini o'z ichiga olgan ma'lumotlar bazasida o'qitilgan mashina o'rganish modeli ushbu mavsumda (A) mahsulotlarni qidirishda juda yaxshi natijalarga olib keladi. Biroq, mavsum o'zgarishi bilan, moda tendentsiyalari ham o'zgarishi mumkin. Moda tendentsiyalari o'zgarganda, katalogga yangi mahsulotlar toifalari, modellar va uslublar qo'shilishi mumkin (masalan, krossovkalar o'rniga baland poshnalar, kalta pidjaklar o'rniga uzun ko'ylagi va boshqalar). Birinchi mavsum (A) ma'lumotlari bo'yicha o'qitilgan model yangi mavsumda qo'shilgan narsalarni qidirishda yaxshi natijalarga olib kelmaydi. Aslida, bizning modelimizni shunchaki yangi mavsumdagi ma'lumotlarga o'rgatish, avvalgi mavsumdagi narsalarni qidirish qobiliyatini katastrofik ravishda unutishga olib keladi.

Esdan chiqarishni hal qilishning umumiy usuli?

ANNlarda halokatli unutishni yumshatish uchun eng qadimgi usullardan biri tajribani takrorlash yoki "mashq qilish" deb nomlanadi. Bizning katalogni qidirish misolini davom ettirib, birinchi mavsumda o'rganilgan ma'lumotlarni saqlab qolish uchun, mashinani o'rganish modeli har ikki faslning ma'lumotlari aralashmasidan noldan o'qiydi, ya'ni ilgari o'rganilgan bilimlar o'qitilgan modelga qaytariladi. yangi mavsumning ma'lumotlari. Odatda, ma'lumotni tarqatish "siljishi" har safar modelni qayta o'qitish ma'lumotni saqlash xarajatlari va aqlli tizimlarni saqlash uchun sarf qilinadigan kuchlarning oshishiga olib keladi, tizim miqyosining keskin pasayishi haqida gapirmasa ham bo'ladi. Va nihoyat, oldingi vazifalarning xom-ashyolarini saqlash haqiqatdan ham amaliy dasturning ma'lumotlarning maxfiyligi talablarini buzishi mumkin.

Shu nuqtai nazardan, ko'pgina tadqiqotchilar ANNlarda asab plastisitatsiyasini simulyatsiya qilishga va shu bilan xom ma'lumotlarni saqlashga bo'lgan ehtiyojni kamaytirishga e'tibor qaratmoqdalar (1,2,3,4,5,6). Bu odatda "vazifalarni kuchaytirish" deb nomlangan sozlashda amalga oshiriladi, bunda har bir yangi qo'shilgan ma'lumotlar to'plami alohida vazifa sifatida ko'rib chiqiladi va vazifalar yorlig'i to'g'risidagi ma'lumotlar test vaqtida mavjud bo'ladi deb taxmin qilinadi. Katalogni qidirish misoliga qaytadigan bo'lsak, har bir so'rovga mavsum yorlig'i (vazifa yorlig'i) to'g'risidagi ma'lumotlar kiritilishi kerak bo'ladi; shu sababli kiyimning ushbu turini tasniflash uchun mavsumga tegishli bo'lgan a-priori ma'lumotlari talab qilinadi (vazifalar yorlig'i). Bunday «vazifa yorlig'i» ga ega bo'lish avtomatik ravishda modelning taxmin qilingan vazifaga tegishli sinflarga qisqartirilishini ta'minlaydi. Shunday qilib, yuqoridagi bizning misolimizda u faqat ma'lum bir mavsum uchun modelni cheklaydi. Ushbu taxminlar kamdan-kam hollarda real hayotda qo'llanilishi mumkin.

Alohida ish stsenariy kabi real hayotga mos keladi. Ushbu "sinf-bosqichma-bosqich" stsenariyda yangi sinflar o'rganilgandan so'ng modelning tasniflash natijalari doimiy ravishda kengaytirilib boriladi. Shu nuqtai nazardan umumiy xotira deb ataladigan generativ xotira komponentini (masalan, 7,8,9) joriy etish. Bu erda xom ma'lumotlarni saqlash o'rniga GAN yoki VAE kabi generativ model (oldingi blogpostga qarang) qayta ishlash tajribasini to'plashga o'rgatiladi. Shunday qilib, katalog misolida birinchi mavsumning buyumlari (tegishli sinf bilan) ishlab chiqarilishi va modelga qaytarilishi mumkin edi.

Mavjud generativ xotira yondashuvlari asosan generativ modelni mavjud bo'lgan haqiqiy ma'lumotlar (yangi mavsum) va oldingi generator (o'tgan mavsum) tomonidan sintezlangan takrorlash epizodlari aralashmasida qayta generatsiyalangan chuqur generativ takrorlash g'oyasiga tayanadi. Biroq, ushbu trening juda samarasiz bo'lishidan tashqari, "semantik cho'kish" deb nomlanuvchi ta'sirga juda moyil. "Semantik cho'ktirish" deganda, avval yaratilgan tasvirlarga qarab, har bir xotirani takrorlash vaqtida hosil bo'ladigan, xatolar tarqalishining sezuvchanligini keltirib chiqaradigan va natijada sifatni va unutishni yo'qotadigan tasvirlarning sifati tushuniladi.

Taklif etilayotgan yechim - generativ xotira tarmog'ida plastika o'rganish

Xullas, biz tajribani takrorlash umuman ANNda, ayniqsa qiyin "sinf-o'sish" sharoitida unutishni engish uchun oddiy va foydali strategiya ekanligini bilib oldik. Shunga qaramay, ushbu strategiya faqat takrorlash epizodlari xom ashyo sifatida saqlanmagan holda, tegishli va samarali saqlanadigan xotira naqshlari ko'rinishida qo'llaniladi.

Ushbu muammoni hal qilish uchun biz yaqinda ishlaganimizda dinamik generativ xotira (DGM) deb nomlangan usulni taklif qildik - bu generativ tarmoq (GAN) parametrlariga tatbiq etiladigan qattiq niqoblar bilan sinaptik plastisitatsiyani simulyatsiya qiladigan doimiy o'rganish uchun doimiy tizim. . Qattiq e'tiborni niqoblash hozirgi vaqtda o'rganilgan ma'lumotni eslab qolish uchun zarur bo'lgan tarmoq segmentlarini aniqlaydi va kelajakda o'rganish davomida ularning yangilanishiga yo'l qo'ymaydi. Tarmoq ilgari olingan bilimlarni qayta ishlatish uchun rag'batlantiriladi, bu esa tarmoqning "zaxiralangan" segmentlarida saqlangan bo'lib, bu bilimlarni oldinga yo'naltirishga imkon beradi. Shunday qilib, bizning mahsulot katalogimiz misolida, o'tgan mavsumdagi katalog buyumlari haqidagi bilimlardan yangi mavsum buyumlari to'g'risida ma'lumot olishda samarali foydalanish mumkin. Umuman olganda, DGM yangi vazifalar haqida eski bilimlarni qayta to'ldirmasdan o'rganishi mumkin, shu bilan mashg'ulotlar samaradorligini oshiradi va halokatli unutish oldida yanada mustahkam bo'ladi.

Shunday qilib, DGM quyidagi rasmda ko'rsatilgandek doimiy o'rganishning har qanday bosqichida ilgari o'rganilgan toifalarning ma'lumotli va xilma-xil namunalarini yaratishi mumkin. Ushbu namunalarni vazifalarni echish modeliga qaytarish (D) doimiy o'quv jarayonida kuzatilgan barcha sinflar bo'yicha yuqori klassifikatsion ko'rsatkichlarni saqlab qolishga imkon beradi.

Miqyosliligi to'g'risida

Tarmoqning cheklangan hajmini hisobga olgan holda, o'rganish kerak bo'lgan vazifalar soni ortib borishi bilan, model sig'imi ma'lum bir vaqtning o'zida kamayib ketishi muqarrar. Parametrlarni qattiq niqoblash bilan neyronal plastmassani simulyatsiya qilishda bu muammo yanada kuchayadi. Tarmoqning etarli quvvatini va doimiy ekspress-quvvatini kafolatlash uchun, DGM "bo'sh" parametrlar sonini doimiy ravishda ushlab turadi (ya'ni yangilanishi mumkin bo'lgan bir marta) tarmoqni oldingi uchun saqlab qo'yilgan parametrlarning aniq soni bilan kengaytirish. vazifa. Bu erda asosiy g'oya shundan iboratki, ma'lum bir ma'lumotni oldinga yo'naltirish (ya'ni qayta foydalanish imkoniyati) bilan, yangi vazifalar uchun parametr zahiralari soni vaqt o'tishi bilan kamayishi va ma'lum bir vaqtda tarmoq o'sishi bilan to'yingan bo'lishi kerak.

DGM usuli bo'yicha texnik ma'lumotlar uchun arXiv-dagi to'liq qog'ozga murojaat qiling.

Butunlay halokatni unutish masalasini hal qilishdan hali ham uzoqroq bo'lsa ham va bir qator cheklovlarga qaramay, DGM qiyin "sinf-bosqich" sozlashida tarmoqning samarali o'sishini va katastrofik unutishni oldini olishni namoyish etadi. Biz ishonamizki, taqdim etilgan tadqiqotlar doimiy o'rganish haqidagi tushunchamizni rivojlantirishga yordam beradi - kuchli AIga erishish yo'lidagi zaruriy qobiliyat, vaqt o'tishi bilan moslashuvchan va asta-sekin o'rganish (unutish) qobiliyati.

Hayot davomida o'rganish bo'yicha ishlarimiz CVPR 2019 da taqdim etilgan.

Muallif haqida: SAP mashina o'rganish ilmiy-tadqiqot guruhining ilmiy-tadqiqot muhandisi Oleksiy Ostapenko, bu yil CVPRda taqdim etiladigan ushbu maqolada muhokama qilingan uzluksiz umrbod o'rganish muammolari ustida ishlamoqda.