Schadensersatz nach rücktritt? und wie hoch?

Ich habe 2 Lattenroste geb. gek., a 40,50 €. zweimal hat Abholung nicht geklappt, Am nächsten Abend hatte ich die vollständige Adresse, und er war nicht zu Hause. Zwischenzeitlich haben wir den Vertrag rückgängig gemacht. Der Verkäufer wollte von mir 20 € Schadensersatz, weil die Dinger jetzt noch länger bei ihm stehen. Telefonisch, aber mit drei Zeugen. Am nächsten wollte er 20 € pro Lattenrost. Wie soll ich jetzt verfahren?