La seigneurie et la terre de Marval appartenaient au XIIe siècle aux vicomtes de Limoges ; elles passèrent par eux aux vicomtes de Rochechouart leurs descendants. Là se trouvait un château-fort qui touchait l'église construite aussi au XIIe siècle ; il portait le nom de château de la Robertie ou des Roberts, et formait une seigneurie différente de celle de la paroisse. Jean de Lambertie, fils de François, seigneur de Menet, et de Jeanne de La Faye, semble en être entré en possession à l'époque du mariage qu'il contracta le 22 novembre 1577 avec Catherine de Montfrebeuf, fille de François, écuyer seigneur de Prun, et de Marguerite des Poussés. On trouve encore que par acte du 1er avril 1605, Jean de Lambertie, demeurant en son château noble des Roberts, achetait à Jean de Rochechouart tous ses droits sur les paroisses de Milhaguet et de Marval, sans y comprendre ceux qui avaient été vendus au sieur de Montfrebeuf.

Ce premier château fut saccagé et détruit en partie, comme l'église, par les troupes calvinistes en juin 1569.

Quelques années après il fut reconstruit, un peu plus au midi, et probablement par Jean de Lambertie qui en était devenu seigneur. La gravure nous le montre avec l'église et le bourg de Marval. Cette façade du midi n'offre rien de particulier, celle du nord, au contraire, conserve encore une porte surmontée d'une tourelle en encorbellement, défendue par des machicoulis.

Ce château fut constamment habité par les membres de la famille jusqu'au moment de la Révolution. A cette époque, le dernier propriétaire, Emmanuel de Lambertie, qui était âgé, infirme et sans enfants, de plus emprisonné à Limoges comme suspect, le vendit par acte du 17 pluviôse, an II (5 février 1794) à Etienne Auvray-de-Saint-Remy.

Léonarde Auvray-de-Saint-Remy le porta à Joseph David comte de Lastour en se mariant avec lui. Leur fille Louise, qui en hérite, devint l'épouse de M. Aubin Garrigou-Lagrange, et la fille de ces derniers qui l'a eu en partage a épousé M. Hyacinthe Durtel de Saint-Sauveur.