Der erste Festungsbau von Celje, die sogenannte Alte Burg, wurde in der ersten Hälfte des 13. Jh. erbaut. Ein Jahrhundert später kam sie in den Besitz der Herren von Žovnek, die ab 1341 die Grafen von Celje wurden. Der ehrgeizige Wiederaufbau, bei dem der Festungscharakter erhalten wurde, machte sie zu einer repräsentativen Residenz. Dies beweist der Friedrichsturm, der den östlichen Teil der Burg dominiert. Nach mehreren Umbauten wurden die Steine des Bauwerks im 19. Jh. zur Erbauung der Stadt genutzt. Ab 1882 wurde die Ruine der mächtigen Festung dann wieder aufgebaut.