Budowa twierdzy wycisnęła niezatarte piętno na mieście. Pierwszy projekt wykonał włoski inż. Pinto (być może przy współudziale Holendra Walrave), ale nie został on przyjęty. Kolejny wykonał w 1764 r. płk. Regeden. Na podstawie tego projektu i pod jego kierunkiem powstało w latach 1765-77 zostały zrealizowane ogromne założenia obronne, obejmujące znaczny obszar Gór Sowich, Bardzkich i Przedgórza Sudeckiego. Główna twierdza złożona z Donjonu i otaczających go fortów, baterii, bastionów oraz innych dzieł obronnych, została założona na 4 wzniesieniach głównego grzbietu Gór Sowich: Warownej Górze, Chochole Małym, Chochole Dużym i Stawnej. Natomiast na Ostrogu w Górach Bardzkich, po drugiej stronie Przełęczy Srebrnej, powstało samodzielne dzieło obronne w postaci potężnego fortu. Oprócz tych fortyfikacji na Przedgórzu Sudeckim i w Górach Bardzkich, poczynając od Barda poprzez Masyw Grochowej założono pierścień zewnętrzny, złożony z różnej wielkości fortów przesłonowych. W drugą stronę podobny łańcuch poprowadzono w kierunku Kłodzka, aby zapewnić łączność z tamtejszą twierdzą. Prace rozpoczęto od wzniesienia centralnego Donjonu i sąsiedniego fortu Ostróg, ryglujących Przełęcz Srebrną. Całość prac pochłonęła kolosalne wydatki zamknięte kwotą 1 668 000 talarów. Część tych kosztów ściągnięto z ludności Śląska w postaci dodatkowych podatków. Przy budowie zatrudniano większość mieszkańców Srebrnej Góry oraz wielu sprowadzonych z różnych stron robotników i specjalistów. W szczytowym okresie pracowało przy obiektach twierdzy 4000 ludzi. Szczególnie cierpiała okoliczna ludność wiejska zatrudniona przy budowie, transporcie materiałów i poddawana rygorom wojskowym obowiązującym w obrębie twierdzy i jej okolicy. Dlatego też budowę nazwano powszechnie „dopustem srebrnogórskim”. Trzeba jednak przyznać, że budowa wpłynęła aktywizująco na rozwój miasteczka. W 1747 roku w Srebrnej Górze były 2 kościoły i 161 budynków. Natomiast w 1782 roku były 2 kościoły, (katolicki i ewangelicki), szkoła, szpital, 165 domów i koszary. Pracowało 133 rzemieślników, w tym 30 płócienników oraz 8 kupców i kramarzy a w mieście odbywały się 4 jarmarki rocznie. Po zakończenie budowy twierdzy uzbrojono ją i obsadzono garnizonem liczącym 137 oficerów 2386 żołnierzy. Twierdza była dobrze przygotowana do działań bojowych, chociaż zarzucano jej, że jest przestarzała i niezbyt fortunnie usytuowana. W 1800 roku zwiedził ją John Quincy Adams ówczesny ambasador stanów Zjednoczonych Ameryki w Berlinie, a późniejszy prezydent USA.

Przydatność twierdzy została poddana próbie podczas wojen napoleońskich. W 1807 roku w okolicy Srebrnej Góry toczyły się uporczywe potyczki i działania bojowe mające na celu wyparcie prusaków ze Śląska i Ziemi Kłodzkiej. W czerwcu skoncentrowały się w bezpośrednim sąsiedztwie Srebrnej Góry. Wojskami pruskimi, częściowo zamkniętymi w Srebrnej Górze, częściowo w Kłodzku dowodził gen. hr. von Götzen a wojskami francuskimi ks. Hieronim Bonaparte. W walkach po stronie francuskiej brali także udział polscy ułani Legii Nadwiślańskiej. 28. VI. 1807 zdobyto miasto, które przy okazji prawie całkowicie zniszczono i przystąpiono do oblężenia twierdzy, ale dalsze działania przerwał rozejm przed zawarciem pokoju tylżyckiego. Ponieważ twierdza nie została faktycznie zdobyta, bowiem szturm przerwano w wyniku zawieszenia broni, pozwoliło to na zyskanie przez nią famy niezdobytej fortecy i miana „Śląskiego Gibraltaru”, które często przewijało się w XIX wiecznych opisach. Twierdzę ponownie postawiono w stan gotowości bojowej w 1813 roku. Przeprowadzono wówczas modernizacje zewnętrznego pasa fortów według projektu gen. hr. A. von Gneisenau, ale działania wojenne ominęły tym razem Srebrną Górę. Po wojnach napoleońskich twierdza srebrnogórska zaczęła się cieszyć dużym zainteresowaniem ze strony turystów, szczególnie kuracjuszy, licznie napływających do Kłodzkich uzdrowisk. Coraz częściej kierowali się do Srebrnej Góry, aby zobaczyć sławną twierdzę, która oparła się wojskom napoleońskim. Pomimo poważnych zniszczeń w 1807 roku miasto odbudowało się stosunkowo szybko. W 1821 roku było tu 200 budynków, z czego 161 prywatnych (pozostałe w większości należały do wojska) działało też 6 potażarni. Ludność miasta była w połowie katolicka, w połowie protestancka. Istniały 2 kościoły i szkoła z 2 nauczycielami, 3 szynki, a działało 61 rzemieślników, wśród nich 4 płócienników i 3 pończoszników. Widać więc, że zniszczenia wojenne poważnie odbiły się na stanie posiadania i liczbie mieszkańców. W 1840 roku miasto liczyło 151 budynków. Była tu filia urzędu celnego w Międzylesiu, urząd pocztowy, 2 kościoły (katolicki i ewangelicki), ratusz, szpital z 12 łóżkami, apteka, browar, 2 gorzelnie, 7 zajazdów, 10 szynków, a wśród mieszkańców było 98 rzemieślników, 15 kupców, 22 kramarzy. Jednak największe piętno w mieście wyciskała twierdza i jej garnizon. W 1843 roku blisko 28% mieszkańców stanowili wojskowi. Twierdza traciła znaczenie militarne, wobec czego po 1830 roku częściowo zamieniono ją w więzienie, w którym w latach 1830-46 trzymano więźniów politycznych. W 1844 roku żołnierze z twierdzy tłumili powstanie tkaczy w rejonie Pieszyc. Po raz ostatni twierdzę postawiono w stan gotowości bojowej w 1866 roku przed wojną z Austrią, ale już w roku 1867 rozbrojono ją, utrzymując jedynie garnizon i więzienie, a Donjon wykorzystywano jako poligon artyleryjski.