Koelpakhuis De Zwijger werd in 1933/34 gebouwd in zakelijk-expressionistische stijl naar ontwerp van J.de Bie Leuvelink Tjeenk en K. Bakker. Snel bedervende waar, zoals vlees, kon er voor langere tijd worden opgeslagen. De Zwijger was destijds een van de modernste koelhuizen.

Het gebouw is opgetrokken uit gewapend beton. Om betonrot tegen te gaan, werden de gevels met elf centimeter baksteen bekleed. Een betonskelet met achtzijdige kolommen en zogenaamde paddenstoelvloeren vormen de draagconstructie. De oostgevel toont negen zandstenen platen in blauw mozaïek, met de namen van de steden waar maatschappij Vrieseveem haar kantoren had.

Afgeblazen
De Jan Schaeferbrug, die Java-eiland en Oostelijke Handelskade verbindt, boort zich dwars door pakhuis De Zwijger heen. Aanvankelijk werd een plan daartoe afgeblazen door de gemeente, omdat de funderingen van De Zwijger te kwetsbaar zouden zijn. Voor het Cuypersgenootschap was dat reden het gebouw bij het rijk voor te dragen als rijksmonument, wat in 2001 inderdaad gebeurde. Ook de Amsterdamse Raad voor de Monumentenzorg noemde het koelhuis 'van nationaal belang'. Nader onderzoek toonde aan, dat het pakhuis veel veiliger is dan gedacht, er was in feite niets aan de hand. Februari 2001 waren B&W om. Het college adviseerde staatssecretaris Van der Ploeg De Zwijger als rijksmonument aan te wijzen. De gemeenteraad stemde in. Van der Ploeg ook. De Zwijger heeft extra funderingspalen gekregen. De funderingen van de brug werden niet geheid, maar ingeschroefd.

Een nieuwe eigenaar, Stadsherstel Amsterdam,  liet De Zwijger door architect Van Stigt geschikt maken voor een reeks van culturele bestemmingen.