Denkmalschutz fragwürdig

Unser Haus (Kleinbauernhaus, welches nicht als solches seit 100 Jahren genutzt wurde) steht seit ca. 30 Jahren unter Denkmalschutz. Wir können keinerlei "von Menschen geschaffene Sachen oder Teile davon aus vergangener Zeit, deren Erhaltung wegen ihrer geschichtlichen, künstlerischen, städtebaulichen, wissenschaftlichen oder volkskundlichen Bedeutung im Interesse der Allgemeinheit liegt" erkennen. Es ist zwar alt (190 Jahre), ist von denkbar schlechter Bauweise und enthält auch im Innenbereich keine Art von erhaltenwerten Strukturen. Wir haben erfahren, dass ein Bürgermeister im Ort einen der Vorbesitzer mehrfach bekniet haben soll, sein Haus unter Denkmalschutz zu stellen, so, wie dieser Bürgermeister es auch mit anderen mehr oder weniger erhaltenswerten Anlagen gemacht hat.
Wir würden gerne aus dem Denkmalschutz herauskommen. Das Amt für Denkmalschutz erklärte "es sei sehr schwierig in den Denkmalschutz hinein zu kommen und ebenso schwierig, wieder heraus zu kommen".
Das Problem ist, das wir befürchten, bei einem Lokaltermin mit den Ämtern, Fristen zur (Kern-)Sanierung zu bekommen, die wir unmöglich auch finanziell stemmen können, bzw. dass die derzeitige (Teil) Bewohnbarkeit aberkannt wird.