Нейромережі навчилися цілеспрямовано запам’ятовувати та забувати інформацію [*]


Сьогоднішні розробки в області глибокого навчання вже багато в чому перевершують людину: від шахів і Go до розпізнавання осіб і об’єктів. Але є області, де штучний інтелект істотно поступається сьогоденню. Особливо це стосується здатності людей безперервно оновлювати свою пам’ять і “видаляти” з неї зайву інформацію.

А ось машини так не уміють. Будь-які отримані навички, незалежно від важливості, тут же перезаписуються новими даними. Проте нове дослідження, проведене вченими з Facebook AI Research і Левенского католицького університету, показало, що природні механізми запам’ятовування дуже успішно перекладаються і на штучні нейромережі.

Правило Хебба

Ще у 1940-х роках канадський психолог Дональд Хебб сформулював теорію: “Між клітинами, які збуджуються одночасно, виникає міцний зв’язок”. Саме за цим принципом і навчаються люди: синхронізоване збудження нейронів, що повторюється, посилює зв’язки в мозку і перешкоджає стиранню засвоюваної інформації з пам’яті.

Узявши за основу це правило, дослідники розробили нейронні мережі, навчання яких відбувається по такому ж механізму. Тепер, вивчаючи щось нове, АІ вміє блокувати зміни в раніше освоєних важливих параметрах.

Серія тестів продемонструвала спроможність проведеної роботи. Приміром, мережі, яку натренували розпізнавати квіти, раптом починали показувати птахів. Повернення до кольорів показало, що істотна частина попередньої навички розпізнавання у алгоритму збереглася.

І хоча поки що відмінності нової розробки від звичайних нейромереж в подібних випробуваннях не такі разючі, у цієї ідеї є “велике майбутнє в машинному навчанні”. Подальші дослідження в цьому напрямі допоможуть зробити АІ гнучкішими і здатними швидко адаптуватися до умов довкілля, що змінюються.

Джерело: MIT Technology Review

Залишити відповідь

Ваша e-mail адреса не оприлюднюватиметься. Обов’язкові поля позначені *