K hradu vede červená turistická trasa přímo z města - poslední část vede kolem Oseckého potoka a cesta je lemována zábradlím. Zhruba po dvou kilometrech se ocitneme pod hradem. To již nad sebou vidíme dvě hradní věže.

U vstupu se dovídáme o probíhající dlouhodobé záchraně hradu. První co nás zde překvapí, je rozlehlost hradu a dvě mohutné věže, dost daleko od sebe vzdálené. Na horním konci je čtvercová věž, ke které se dostaneme po prudkém stoupání, v dolní části se nalézá kruhová věž, ke které naopak musíme klesat. Odhadem je ona vzdálenost něco kolem sto padesáti metrů.

Další zvláštností je velké množství dochovaných zdí, takže si můžeme udělat představu, jak hrad dřív vypadal a v jakém rozsahu zde byl vybudován. K upřesnění původního rozvržení hradu nám také pomůže malba z návštěvních řádů, která je přibližnou podobou původního hradu.

Jako jeden z mála hradů se tento může pyšnit dalším unikátem a to přesným datem vzniku. Z dřevěných částí zdejší zříceniny byly totiž vzorky a z nich určeno přesné datum výstavby hradu.

Hrad vznikl v roce 1248 - konkrétně šlo o výstavbu horní věže hradu. Již v roce 1250 nalézáme hrad v přízvisku Boreše z Rýzmburka. Vznikl tedy v polovině 13. století na důležité cestě z Čech do Saska na okraji Krušných hor. Tato strategická poloha hradu vycházela již od pravěkých cest, které tudy vedly.

Původní majitelé hradu páni z Rýzmburka či Hrabišici patřili mezi nejvýznamnější rody středověkých Čech a podíleli se na rozvoji severozápadního regionu. Kromě hradu založili také v Oseku klášter cisterciáků. Jejich pojmenování Hrabišici vychází z původního erbu s hráběmi.

V roce 1398 hrad páni prodali míšenskému markraběti a již se sem nikdy nevrátili. Jelikož prodej nebyl posvěcen králem, vedl se o právo vlastnit tento hrad dlouhý spor - ukončen byl až v roce 1459 kdy byl navrácen do rukou českého krále. Od roku 1530, kdy patřil pánům ze Sulejovic, hrad začal chátrat, jelikož se odstěhovali do pohodlnějšího zámku v Duchcově.

Hrad je z obou stran obtékán potoky a nyní je již celý schován v lesním porostu. A z hlediska středověkého vojenství se jedná o vysoce kvalitní pevnost, jež nebyla zřejmě nikdy dobyta. Je rozdělen na dvě základní části a to jádro s obytnými věžemi a kaplí na nejvyšší části hradu a k němu přiléhající druhá část mnohem rozsáhlejší obranná s dodnes dominující dolní věží. Zřícenina se v 19. století stala oblíbeným místem romantických básníků - byl zde i Karel Hynek Mácha.

V současné době zde probíhají záchranné a udržovací práce a stává se turistickým cílem. Na obou věžích je upozornění na nebezpečí vstupu a také je zde návštěvní řád. Celý areál hradu byl zbaven náletových stromů a je velmi dobře průchozí.