El Conventet siguió alojando a la comunidad de frailes franciscanos hasta finales del siglo XIX. En aquel momento, las religiosas se desprendieron de esta propiedad, que pasó a manos del obispado. Posteriormente, ya entrado el siglo XX, ha sido la residencia particular de distintas familias.
Aunque la función principal de este edificio fue tradicionalmente de residencia de los frailes al servicio del monasterio, también fue utilizado, en el siglo XVIII, como lugar de retiro de franciscanos de otros conventos. Los acontecimientos históricos del siglo XIX (Guerra de la Independencia Española, epidemias, crisis económicas y sociales, desamortización) afectaron y deterioraron la imagen del edificio, y fueron el motivo por el que las religiosas se deshicieron del inmueble a finales de la centuria.
Ya como propiedad del obispado, el edificio fue transformándose para pasar a ser residencia temporal del obispo y, a partir de 1918 y hasta la actualidad, residencia de distintos particulares.
Documentado desde 1341, el edificio conocido como el Conventet llegó a finales del siglo XIX en muy mal estado. En 1918, la familia Peremateu Sors lo adquirió y encargó al arquitecto Enric Sagnier i Villavecchia que lo convirtiera en una imponente mansión. La fisonomía actual del edificio es el resultado de dicha intervención.
Las obras realizadas entre 1919 y 1922 cambiaron profundamente el aspecto original del recinto del Conventet, del que únicamente se preservó el antiguo claustro gótico. El resto del edificio fue totalmente modificado, lo que consolidó un proceso que ya se había iniciado cuando en 1884 fue acondicionado como residencia episcopal.
La fachada orientada a la bajada del Monestir es el elemento más destacado del proyecto. Su sistema de aberturas fue enmarcado con numerosos elementos arquitectónicos y escultóricos del siglo XVII procedentes de la antigua colegiata de Santa María de Besalú. Aquel notable edificio del románico catalán fue objeto de abandono y espolio desde la desamortización de los bienes de la Iglesia en 1835, y muchos de sus elementos fueron vendidos, desmontados y trasladados a Barcelona. El antiguo portal de la iglesia y su tímpano escultórico se utilizaron como puerta principal de la casa, así como el portal del claustro, que fue convertido en puerta del jardín. Los capiteles y las ménsulas que adornan la galería superior proceden del claustro y la cabecera de la citada iglesia.