Le château fut incendié et ruiné en 1385 et reconstruit au XVème sous sa forme actuelle par Pierre de Montbrun, évêque de Limoges. Très endommagé, en particulier par l'incendie de 1917, il a conservé quatre grosses tours dont l'une englobe le " Grand Jacques ", superbe donjon quadrangulaire, l'un des plus beaux exemples du genre.

A peu de distance, on peut voir la motte castrale, fortification primitive du lieu. Montbrun se reflétant dans son étang faisant office de douve est sans doute l'un des plus beaux et plus pittoresques monuments du Limousin.