В начале XVI века на территории будущего города была заложена крепость.
Здесь находился собор кальвинистов. Вокруг него возвышались 9 башен укреплённой каменной стены. Земли вблизи городища принадлежали древнему роду Гаштольдов. Позже эта гора стала усыпальницей для части рода Радзивиллов, которая принадлежала к протестантам.
Город играл роль важного военного узла и был укреплён по всем стандартам тогдашней военной науки. Стены были обнесены валом и имели толщину, способную выдержать прямое попадание крупного снаряда.
Постепенно роль города снижалась и к концу XIX века собор и городище на горе практически исчезли. В 30-е годы, вместе со сменой названия города с Койданово на Дзержинск, исчезли последние остатки замка. Сейчас на горе с трудом можно различить очертания руин одной башни и куски фундамента. Оставшееся не подлежит восстановлению, но место сохраняет статус культового и представляет собой культурную ценность.
Сохранившееся фрагменты фундамента городища можно отыскать в районе пересечения улиц Первомайской и Якуба Коласа. На месте былого крепления находится небольшая возвышенность, по краям которой выступают следы военного зодчества.
