В январе 2004 года Виктор Колодяжный назначен и. о. мэра города Сочи, после того как прежний мэр Леонид Мостовой ушел в отставку под давлением губернатора Краснодарского края Александра Ткачева. Одной из первых инициатив градоначальника Колодяжного стало распоряжение о создании штрафстоянок для бесхозных коров.
25 апреля 2004 года на выборах мэра набрал 73,56% голосов. Губернатор Ткачев приезжал поддержать его накануне голосования, а на инаугурации заявил, что с приходом Виктора Колодяжного к власти в Сочи "город получит второе рождение".
В ноябре 2004 года господин Колодяжный поддержал позицию Александра Ткачева, заявившего о готовности закрыть границу с Абхазией в случае прихода к власти там кандидата от оппозиции Сергея Багапша. Мэр заявил, что будет "выполнять все действия, которые будет делать губернатор".
С момента выдвижения Сочи в качестве кандидата на проведение Олимпиады-2014 в июле 2005 года мэр активно поддерживал заявку. В частности, он пообещал построить монорельсовую дорогу Адлер--Красная Поляна и перевести городской общественный транспорт на водородное топливо.
20 июля 2007 года Виктор Колодяжный попал в ДТП, катаясь на карете в Санкт-Петербурге. В этой аварии погибла его пятилетняя дочь.
1 марта 2008 года Виктор Колодяжный заявил о том, что для нужд Олимпиады-2014 в Имеретинской бухте будет снесено около 120 частных домов. Намерения мэра вызвали недовольство местных жителей, поскольку ранее и господин Колодяжный, и губернатор Ткачев заверяли их, что сноса домов не будет. Жильцы отказались от предложенной компенсации в размере $12 тыс. за сотку и потребовали заплатить им по $200 тыс. за сотку.