Kündigung bei noch nicht unterschriebenen Arbeitsvertrag, Tätigkein aber angetretten!!!Hilfe

Hallo,
am 1 Juni habe ich in einer anderen Stadt angefangen zu arbeiten, habe aber noch keinen Arbeitsvertrag unterschrieben gehabt, weil der Chef ein Eingliederungszuschuß bei Harz4 beantragt hat und den Arbeitsvertrag mir verweigert hat! Nach meiner Anforderung am 7 Juni gab er mir doch den Arbeitsvertrag, in dem steht , dass diese Stelle berfriestet ist. Davon wusste ich aber nicht!! An dem gleichen Tag erhielt ich einen besseren Stellenangebot in meiner Stadt, was natürlich günstig für mich ist und ich möchte jetzt diese Stelle haben! Ich beziehe "noch" Harz4 Leistung. Wie soll ich jetzt ordentlich, gezetzlich vorgehen,? Muss ich jetzt mit kündigungsfrist kündigen? Darf ich einfach so "alte" Stelle verlassen?