Silent Hill olyan város, ami úgy tűnik, mintha csapdába esett volna valahol az időben. Az elhagyatott utcákat gomolygó köd takarja, ami megakadályozza, hogy 5 méternél messzebbre láss el bármilyen irányban.
Silent Hill elvileg egy kis pihenőváros, csendes, nyugodt hely, olyan, amilyeneket romantikus novellákban, vagy gyerekkönyvekben olvashatsz. És bár a helyiek csendes pihenővárosként reklámozzák Silent Hillt, ami a nagy Toluca tó köré épült, a városnak sokkal nagyobb és sötétebb története van, mint bárki el tudná képzelni.
A város történelme több módon tárul fel. A festmények a börtön előtt a falon és a lepecsételt földalatti terület azt sejteti, hogy a Brookhaven Kórházat eredetileg egy járvány áldozatainak elszállásolására építették. Ez annyit jelent, hogy szörnyen sok ember halt meg azon a helyen és hogy miért akarnának egy ennyi szörnyűség és szenvedés helyén kórházat építeni, az felfoghatatlan. A Múzeumban a festmények a Toluca Börtön Tábor eredetét ábrázolják az 1820-as években. Úgy látszik a képekről, hogy elég sok ronda dolog történt ott. Sok polgárháborús rabot hoztak át ebbe a börtönbe az USA Újjáépítésnek nevezett sötét időszaka alatt. Ebben az időben több ezer szövetséges fogoly katonát hagytak éhezni és betegen a szegényen ellátott börtön táborokban. Kegyetlen kivégzéseket eszközöltek bírói ítélet nélkül. A Toluca börtön rabjai gyakorlatilag választhattak, hogy felakasszák őket, vagy "felnyársalják" pontosan úgy, ahogy Maria-t a játék végén. A hóhérokat tisztán ábrázolták a Tuluca börtönudvar állványának talapzatán. Magasak voltak, hegyes sisakban és nagy lándzsát hordtak a felnyársaláshoz. A szörnyeteg Piramisfejek ezek a hóhérok, még mindig hamis ítéleteket hajtanak végre válogatás nélkül. Így hat Silent Hill történetére a Piramisfej és a "Ködös nap, az Ítélet maradéka" című festmény.
Eredetileg teljes más neve volt a városnak és a földet azok orozták el az őslakosaitól, akik a várost alapították. Az őslakosok alighanem őslakos amerikai törzsek voltak a könyv írásából és a szellemi dolgok belekeveredéséből ítélve. Õk úgy nevezték ezt a helyet, hogy "A Csendes Szellemek Helye", mivel úgy tartották, hogy halott őseik szellemei itt éltek összhangban a természet szellemeivel. Hatalmas rituálékat rendeztek a holtak és a szellemi világ tiszteletéül, de aztán telepesek érkeztek és elűzték a törzseket. Valamivel azután, hogy egy kisvárost alapítottak itt, a lakói ismeretlen okokból kifolyólag elhagyták a földet. Így lehetett, hogy az 1800-as évek elején új telepesek megalapították Silent Hillt.