Die Stadt Fredeburg wurde um die Jahre 1420, 1550,1575 durch größere Brände heimgesucht. Der größte Brand brach am 27.3.1810 aus, vernichtete die Kirche, das Rat- und Schulhaus, die Pastorat und 54 Bürgerhäuser nebst vielen Nebengebäuden. Bei diesen Brände ist unendlich wertvolles Archivmaterial verlorengegangen, so daß der Zeitpunkt der Gründung der Stadt Fredeburg und der Zeitpunkt der Verleihung der Stadtrechte urkundlich nicht nachzuweisen ist.

Auch ohne Vorlage entsprechender Urkunden kann aber selbst der größte Skeptiker die Existenz einer Burg in Fredeburg - die für die Entwicklung der Stadt von Entscheidender Bedeutung wurde - nicht leugnen. Sie wurde um das jahr 1330 unter Dietrich III. von Bielstein erbaut. Da Graf Ludwig von Arnsberg, dessen Tochter Katharina die Ehe mit Dietrich III. von Bilstein eingegangen war, Besitzungen im Land Fredeburg hatte, bedurfte die Gründung der Burg seiner Zustimmung. So ist es zu erklären, daß Fredeburg bereits seit Erbauung der Burg mit der Geschichte der Grafen von Arnsberg in Zusammenhang gestanden hat. Es soll hier nicht näher untersucht werden, ob die Gründung der Burg zum Schutze der auf dem südlichen bzw. westlichen des Burgberges befindlichen Ansiedlungen erfolgte oder ob diese Ansiedlungen eine Folge der Gründung der Burg waren, in deren Schutzbereich sich jetzt schutzsuchende Bauern und Handwerker niederließen. Alle vor der Gründung der Stadt Fredeburg in den Fredeburger Marken liegenden Güter waren Freigüter. Die Namen ihrer Besitzer findet man später als Bürger der Stadt Fredeburg immer wieder. In der Stiftungsurkunde der Fredeburger Kapelle vom 1.8.1353 taucht zum ersten Male die Bezeichnung Stadt auf. 1423 und 1445 wurden die bereits früher verliehenen Privilegien erneut bestätigt. Schon 1352 besaß Fredeburg einen eigenen Magistrat mit Konsuln und Prokonsuln. eine Tatsache, die für das "bürgerliche" Leben von besonderer Bedeutung war und die bestimmt auch in der Zukunft hierfür von maßgebendem Einfluß geblieben ist.

Bereits im Jahre 1343 werden erstmalig die Herren v. Hanxleden als Burgmänner in Fredeburg genannt. Sie stammten von dem Hof Hanxleden in der Nähe von Kirchrarbach. In der Folgezeit kehrt der Name v. Hanxleden mehrfach wieder, sowohl unter den Burgmännern als auch unter den Amtmännern Fredeburgs. 

Nachdem die Linie der Grafen von Bilstein ausgestorben war, fiel Fredeburg an die Grafen von Arnsberg und geriet damit schon bald in den mit Graf Engelbert III. von der Mark ausgetragenen Machtkampf. Die Grafen von Arnsberg verloren diesen Machtkampf und mußten das Fredeburger Land 1352 an den Grafen Engelbert von der Mark abtreten. Im Frieden von 1367 traf Burg und Stadt Fredeburg das gleiche Schicksal, auch sie wurden abgetreten. Trotz aller Wirren blieb Fredeburg zunächst unter der Herrschaft der Herren von Kleve und von der Mark. Erst die Soester Fehde sollte hierin eine Änderung herbeiführen, die für das spätere Schicksal der Stadt Fredeburg von grundlegender Bedeutung war. die Stadt Soest war mit seinem Herrn, dem Erzbischof von Köln in Konflikt geraten und fand bei dem Herzog von Kleve und Mark, dem Fredeburg gehörte und der ebenfalls ein Gegner des Kölner Erzbischofs war, willige Unterstützung. Anfang Juni 144 erklärte Herzog Johann von Kleve dem Erzbischof Dietrich von Köln die Fehde. Auf seine Veranlassung hin schickten die Verteidiger der Fredeburg unter ihrem Burghauptmann Goddert v. Hanxleden am 15.7.1444 ebenfalls ihren Fehdebrief. Schon am 24.07 erschien das feindliche Heer vor den Stadttoren und begann mit der Belagerung. Das Amt Fredeburg fiel schon im August an den Erzbischof und hatte ihm gehuldigt. die Verteidiger der Burg und Stadt Fredeburg aber leisteten tapferen widerstand, obwohl sie gegen eine Übermacht standen und an Hilfe von außen nicht zu denken war.

Am 22 Oktober 1444 fand der Burghauptmann Goddert v. Hanxleden durch einen Pfeilschuß den Tod. erst jetzt erbaten die Verteidiger einen Waffenstillstand bis zur Übergabe, die dann am 11.11.1444 erfolgte.

Fredeburg huldigte dem Erzbischof, erhielt alle bisherigen Privilegien als Stadt bestätigt - und war jetzt kurkölnisch. Die Burg lag nun inmitten des kurkölnischen Landes und hatte daher keinerlei strategische Bedeutung mehr. Die Schäden der Belagerung wurden nicht mehr ausgebessert; die Burg wurde dem Verfall preisgegeben. In der Folgezeit lernte Fredeburg noch mancherlei Not und Elend - hervorgerufen durch die wirren Zeitverhältnisse - kennen. In folge seiner abgelegen Lage und der schlechten Wegverhältnisse spielte Fredeburg aber nie mehr eine entscheidende Rolle, sondern wurde durch das Weltgeschehen immer nur am Rande berührt.

Für die baulich Gestaltung der Stadt Fredeburg und die damit verbundene weitere Entwicklung war das Jahr 1810 von besonderer Bedeutung. Am 27. März 1810 nachmittags brach in dem Haus des Schmieds Wilhelm Teipel am Marktplatz, etwa 100 Schritt vom Anfang der Unterstraße entfernt, ein Brand aus, der rasend schnell auf andere Häuser übergriff und fast die ganze Stadt einäscherte.