L'edificio fu costruito nel Seicento da Domenico Fontana su commissione del vicerè Fernando Ruiz de Castro. Nel 1734 il Palazzo divenne dimora reale borbonica per volontà di Carlo di Borbone.