Wie kriege ich meine Fenster dicht? Ich habe andauernd das Gefühl da kommt kalte Luft durch?

Erst mal prüfen, ob es tatsächlich so ist. Kann man z. B. mit dem Rauch einer Zigarette machen. Zigarette in die Nähe der Dichtung halten. Wenn's zieht, wird der Rauch weg gepustet.
Nachschauen, ob die Dichtungen sauber sind, richtig in der Führung sitzen, unbeschädigt sind. Ggf. tauschen/tauschen lassen.

Bestätige erst einmal das Gefühl: Zünde eine Kerze an und halte sie direkt von die Fensterrahmen. Zieht es wirklich, dann flackert die Kerze in der Nähe der Rahmen. Bleibt die Kerze ruhig, dann sind die Fenster auch dicht, aber nicht gut isoliert. Da hilft nur ein Austausch der Rahmen.

Wahrscheinlich handelt es sich bei deinen Fenstern noch um Einfachverglasung!? Wenn ja, dann solltest du darüber nachdenken sie austauschen zu lassen - das macht sich schnell bezahlt. Vielleicht sind aber auch deine Dichtungen rissig geworden, das müsstest du überprüfen und sie notfalls erneuern.

Das kommt häufig bei alten Fenstern vor, da werden die Dichtungsgummis rissig und porös, sodass dann Luft hindurch kommt und es im Zimmer dann "zieht". Diese Gummis kann man entweder selbst austauschen oder den Vermieter fragen ob er das nicht übernehmen kann. Vielleicht auch mit einer kleinenn Selbstbeteiligung entgegenkommen.