El castell palau de Torrebesses (actualment de propietat privada), és un edifici que amaga una història mil•lenària. El castell va ser construït pels àrabs de la taifa de Lleida, amb funcions de vigilància i també per a la protecció dels camperols que conreaven les terres del terme contra els atacs dels cristians.

Envoltat de murs d'aparell ciclopi a la base, sembla anterior a la dominació sarraïna; manté una bona part de la construcció romànica i gòtica (voltes de mig punt, arcs ogivals, finestrals gòtico-renaixentistes), mentre que la façana, datada el 1730, és d'un barroc ja tardà.

La façana nord del castell té una amplada de 15 metres, amb dues portes d’entrada: una antiga, que es l’antiga porta de la fortificació àrab, i l’ altra ,que es moderna, es fa servir avui per entrar a l’ edifici. La façana nord del castell fou volada amb explosius com a càstig durant la Guerra dels Segadors o la de Successió. A la segona planta hi ha la capella barroca de la Concepció, l'antic oratori dels cartoixans. Aquest gran casal, construït amb pedra encoixinada i amb un important nombre de cambres, s’ha destinat a usos molt variats.

Han estat molts els usos que s’han donat al castell després de la desamortització de 1835 que va posar fi al domini del monestir. Així, ha estat llogat a diverses persones, mestres i alcaldes; va ser l’escola i posteriorment hospital durant la Guerra Civi.