Q:
Kodėl „informacijos trūkumas“ yra svarbi giluminio mokymosi teorija?
A:„Informacinių trūkumų“ idėja dirbtiniuose neuroniniuose tinkluose (ANNs) įgyvendinama specialiu principu, susijusiu su įvairių rūšių signalizacijos sklaida. Tai laikoma praktine priemone tiriant kompromisus, kurie verčia šias dirbtinio intelekto sistemas savarankiškai optimizuoti. Laidinis straipsnis, kuriame aprašoma informacijos trūkumo koncepcija, kurią pateikė Tishby et. al. kalbama apie „triukšmingų pašalinių duomenų įvesties duomenų pašalinimą tarsi išspaudžiant informaciją per kliūtį“ ir „išsaugojimą tik tas, kurie labiausiai atitinka bendrąsias sąvokas“.
Kaip palyginti nauja koncepcija, informacijos kliūties idėja gali padėti patobulinti ir pakeisti tai, kaip mes naudojame ANNs ir susijusias sistemas kognityvinei funkcijai modeliuoti. Vienas iš būdų, kaip ši teorija gali padėti, yra padėti mums geriau suprasti paradigmas, palaikančias neuroninio tinklo funkcijas. Pavyzdžiui, jei principas parodo, kaip sistema išlaiko tik tam tikras savybes, mes pradedame suprasti, kaip ši „duomenų diskriminacija“ padaro tinklą „avinu“ žmogaus smegenyse, o inžinieriai gali tai įtraukti į neuroninio tinklo modelius. Idėja yra ta, kad galiausiai neuroninių tinklų technologija taps ne tik privilegijuotų asmenų provincijos, bet ir „universalios“ koncepcijos dalimi. Šiuo metu įmonės medžioja ribotus PG talentus; Teorijos, tokios kaip informacijos trūkumų teorija, gali padėti skleisti žinias apie neuroninius tinklus pasauliečiams ir „tarpiniams vartotojams“ - tiems, kurie galbūt nėra „ekspertai“, tačiau gali padėti atsirasti ir skleisti neuroninių tinklų technologijas.
Kita svarbi informacijos kliūties vertė yra ta, kad inžinieriai gali pradėti mokyti sistemas, kad jos galėtų veikti tiksliau. Turint keletą aukščiausių sistemų architektūros gairių, galima supaprastinti šių tipų technologijų raidą, todėl turint aiškiau apibrėžtą gilaus mokymosi principų idėją, IT pasaulyje yra vertinga.
Apskritai, AI dirbantis avangardas toliau konkrečiai nagrinės, kaip veikia neuroniniai tinklai, įskaitant „svarbios informacijos“ idėją ir kaip sistemos diskriminuoja atlikdamos funkcijas. Vienas iš pavyzdžių yra vaizdų ar kalbos apdorojimas, kai sistemos turi išmokti atpažinti daugybę variantų kaip „objektus“. Apskritai informacijos kliūtis rodo tam tikrą vaizdą, kaip neuroninis tinklas veiktų su tais objektais, ir konkrečiai, kaip šie duomenų modeliai apdoroti informaciją.
