El museo, ubicado en la antigua fortaleza militar del Castillo de San José, se halla en la capital de la isla, Arrecife, en la zona de Puerto Naos.
Construido entre los años 1776 y 1779 por mandato del rey Carlos III con el fin de paliar la penosa situación por la que atravesaba la isla, fue denominado popularmente como «La fortaleza del hambre» y posteriormente utilizado como punto estratégico para la defensa de la isla.
Por iniciativa de César Manrique, quien dirige personalmente las obras de remodelación y acondicionamiento del edificio, se constituye como museo en 1975 con el fin de «promover, reunir y exponer las obras más significativas de la creación artística moderna». Doscientos años después de que dieran comienzo las obras de edificación de la fortaleza, el 8 de diciembre de 1976, el Castillo de San José abría como Museo Internacional de Arte Contemporáneo, MIAC. Se mantiene la estructura interna del edificio sin apenas modificación y resultando las construcciones anexas las intervenciones más notorias: el restaurante del museo, un espacio abierto a la bahía de Arrecife a través del inmenso ventanal que recorre toda la fachada al mar.
Paralelamente se organizó el I Certamen Internacional de Artes Plásticas, teniendo una importante repercusión en nuestro país ya que la exposición reunió a un importante número de artistas internacionalmente reconocidos, entre ellos Picasso o Miró. Este es el germen de una de las mejores colecciones de arte de la segunda mitad del siglo XX existentes en Canarias.
La actividad del MIAC se organiza en las dos plantas del edificio, ubicando la Colección MIAC en la parte alta junto a las salas Artistas Canarios y Sala Pancho Lasso -dedicada al artista lanzaroteño Pancho Lasso- y la sala de exposiciones temporales en la planta baja, donde se lleva a cabo el programa de actividades centrado en una reflexión sobre la contemporaneidad a través de diferentes líneas de trabajo.