Den oprindelige jødiske museum i Wien blev grundlagt i 1896 og var den første museum af sin art i verden. Museet har eksisteret med støtte fra "Samfundet for indsamling og bevaring af kunst og historiske monumenter i jødedommen." Han fokuserede på historie og kultur af jøder i det østrig-ungarske kejserrige. Hans samling af genstande og produkter fra Palæstina afspejlede også den politiske debat om Zionismen. Museet blev lukket umiddelbart efter besættelsen af ​​Østrig af nazisterne. I det sidste år af sin eksistens, det havde 6474 forskellige elementer. I 1939 blev de overført til for etnologi, og andre institutioner.

De fleste af varerne blev returneret til det jødiske samfund i begyndelsen af ​​1950'erne, men nogle lykkedes kun at vende tilbage i 1990 år. Mange af udstillingerne blev tabt. Når New Jewish Museum har en opgørelse, blev det konstateret, at halvdelen af ​​de oprindelige elementer var forsvundet. Men resten af ​​de ting er meget sjældne udstillingsgenstande, der repræsenterer som objekter i hverdagen, og unikke materialer.

31 December, 1964 en lille jødisk museum blev åbnet i et nyopført bygning på Tempelgasse, men fik næsten ingen offentlig opmærksomhed. Efter 3 år har museet lukket.

Den første udstilling af den nye jødiske museum i Wien åbnede 7 marts, 1990 i midlertidige lokaler i kontorerne hos det jødiske samfund. En væsentlig del af udstillingen bestod af en samling af Max Berger. I 1992 flyttede museet til sit nuværende hjem på slottet Eskeles Doroteegasse. Museet blev åbnet et år senere, i 1993. Biblioteket blev åbnet for offentligheden siden 1994.

Siden efteråret 2011, museet åbnede sine døre efter en komplet renovering, ligesom selve bygningen, og opdatere den permanente udstilling. Renoveret Jødiske Museum hilser besøgende til nye belysning system, der blev foretaget i overensstemmelse med originalen. Den permanente udstilling på museet er placeret i tre zoner.