Rapid Risk Minimization with Bayesian Models Through Deep Learning Approximation

Vi introducerer en ny combination af Baysianske modeller (BM) og neurale netværk (NN) med det formål at lave prediktioner med et minimum af forventet risiko. Vores tilgang kombinerer det bedste af begge verdener, dataeffektiviteten og fortolkbarheden af en BM og et NNs hastighed. For at lave forudsigelser med en BM med den lavest mulige forventede fejl kræver integration over posterior fordelingen. Når eksakt følgeslutning af posterior prediktationsfordelingen er umedgørlig benyttes ofte approksimationsmetoder såsom Monte Carlo (MC) simulering. Med MC aftager variansen af estimatoren med antallet af eksempler, men på bekostning af øget beregningsomkostning. Vores tilgang fjerner behovet for den iterative MC simulering på CPUen til forudsigelser. Vores tilgang fungerer ved at træne et NN med syntetisk data genereret ved hjælp af den BM. Med en enkel, fremadrettet passage af data giver det NN en punktmæssig approksimation til den BMs posterior prediktive fordeling for en given observation. Vi opnår således risiko minimerede forudsigelser signifikant hurtigere end MC simulering med et ubetydeligt tab i præcision i test datasættet. Vi kombinerer denne metode med aktiv læring for a minimere mængden af data krævet for at træne det NN. Dette er gjort ved iterativt at etikere mere data i regioner forbundet med høj usikkerhed hos det NN.