У чым розніца паміж аўтамабільнымі энкодарамі і машынамі з абмежаваным дзеяннем Больцмана?


адказ 1:

Чым машына з абмежаваным болтцманам адрозніваецца ад аўтаматычнага кадара? Ці не вывучаюць абодва без нагляду функцыі высокага ўзроўню? Чым сетка глыбокіх перакананняў адрозніваецца ад сеткі складзеных аўтаматараў?

У чым розніца паміж Deep Boltzmann Machine, Deep Belief Networks і Deep Auto-Encoders? Ці ёсць падручнік, які тлумачыць розніцу паміж працэдурамі папярэдняй падрыхтоўкі і ўдакладненнем вышэйпералічаных сетак? (Псеўдакод будзе дадатковай падмогай)


адказ 2:

Я дам спасылку на адзін з лепшых адказаў на гэтае пытанне:

Крыніца: У чым розніца паміж звілістымі нейроннымі сеткамі, машынамі Больцмана з аўтаматычнымі кадавальнікамі?

Я толькі даў адпаведную частку адказу ніжэй:

Autoencoder - гэта простая трохслаёвая нейронавая сетка, у якой выходныя блокі падключаюцца непасрэдна да блокаў уводу. Напрыклад у такой сетцы:

Выхад [i] мае край назад да ўваходу [i] для кожнага i. Як правіла, колькасць схаваных блокаў значна менш, чым колькасць бачных (увод / вывад). Пры перадачы дадзеных па такой сетцы ён спачатку сціскае (кадуе) вектар уваходу, каб «ўпісацца» ў меншае ўяўленне, а потым спрабуе аднавіць (дэкадаваць) яго назад. Задача трэнінгу складаецца ў тым, каб звесці да мінімуму памылкі або рэканструкцыю, гэта значыць знайсці найбольш эфектыўнае кампактнае прадстаўленне (кадаванне) для ўваходных дадзеных.

RBM падзяляе падобную ідэю, але выкарыстоўвае стохастычны падыход. Замест дэтэрмінаваных (напрыклад, лагістычных альбо ReLU) выкарыстоўваюцца стохастычныя адзінкі з пэўным (звычайна бінарным або гаўсаўскім) размеркаваннем. Працэс навучання складаецца з некалькіх этапаў адбору пробаў Гібса (распаўсюджванне: узор схаваны, прыхаваная бачнасць; рэканструкцыя: бачнасць узору, схаванасць); Адрэгулюйце вагу, каб мінімізаваць памылкі рэканструкцыі.

Інтуіцыя RBM заключаецца ў тым, што ёсць некаторыя бачныя выпадковыя зменныя (напрыклад, агляды фільмаў у розных карыстальнікаў) і некаторыя схаваныя зменныя (напрыклад, жанры фільма ці іншыя ўнутраныя функцыі). Задача трэнінгу - даведацца, як гэтыя два набору зменных на самай справе звязаны (больш на гэтым прыкладзе можна даведацца тут).


адказ 3:

Я дам спасылку на адзін з лепшых адказаў на гэтае пытанне:

Крыніца: У чым розніца паміж звілістымі нейроннымі сеткамі, машынамі Больцмана з аўтаматычнымі кадавальнікамі?

Я толькі даў адпаведную частку адказу ніжэй:

Autoencoder - гэта простая трохслаёвая нейронавая сетка, у якой выходныя блокі падключаюцца непасрэдна да блокаў уводу. Напрыклад у такой сетцы:

Выхад [i] мае край назад да ўваходу [i] для кожнага i. Як правіла, колькасць схаваных блокаў значна менш, чым колькасць бачных (увод / вывад). Пры перадачы дадзеных па такой сетцы ён спачатку сціскае (кадуе) вектар уваходу, каб «ўпісацца» ў меншае ўяўленне, а потым спрабуе аднавіць (дэкадаваць) яго назад. Задача трэнінгу складаецца ў тым, каб звесці да мінімуму памылкі або рэканструкцыю, гэта значыць знайсці найбольш эфектыўнае кампактнае прадстаўленне (кадаванне) для ўваходных дадзеных.

RBM падзяляе падобную ідэю, але выкарыстоўвае стохастычны падыход. Замест дэтэрмінаваных (напрыклад, лагістычных альбо ReLU) выкарыстоўваюцца стохастычныя адзінкі з пэўным (звычайна бінарным або гаўсаўскім) размеркаваннем. Працэс навучання складаецца з некалькіх этапаў адбору пробаў Гібса (распаўсюджванне: узор схаваны, прыхаваная бачнасць; рэканструкцыя: бачнасць узору, схаванасць); Адрэгулюйце вагу, каб мінімізаваць памылкі рэканструкцыі.

Інтуіцыя RBM заключаецца ў тым, што ёсць некаторыя бачныя выпадковыя зменныя (напрыклад, агляды фільмаў у розных карыстальнікаў) і некаторыя схаваныя зменныя (напрыклад, жанры фільма ці іншыя ўнутраныя функцыі). Задача трэнінгу - даведацца, як гэтыя два набору зменных на самай справе звязаны (больш на гэтым прыкладзе можна даведацца тут).