Kann mir mein ehemaliger Vermieter die Kaution zurück halten obwohl es keinerlei Mängel an der Wohnung bei Übergabe gab.

Kann er.
Zunächst einmal hat er bis zu sechs Monate Zeit, für den Fall unerwarteter Nachforderungen. Das hat der Gesetzgeber zwar nicht so pauschal vorgesehen, da ist aber in der Praxis schwer gegen anzugehen.
Darüber hinaus hat er bis zu zwölf Monate Zeit, bis zur Endabrechnung der Nebenkosten. Dafür darf er nur den Teil zurückhalten, der für die Nachzahlung reichen würde, aber auch hier ist es schwer, die Grenze nachzuweisen.
Sprechen kann man immer, aber vor Ende des Jahres würde ich die Kosten für den Rechtsanwalt nicht riskieren.