Nazwa zamku pochodzi najprawdopodobniej od niemieckiego słowa “Rabenstein”, co w języku polskim oznacza kruczą skałę. Jedna z hipotez zakłada, że nazwa utożsamiana jest z nazwiskiem założyciela warowni. Druga teza wskazuje, że zamek powstał w miejscu, które polubiła znaczna grupa kruków. Brakuje wzmianek o początku Zamku w Rabsztynie, dlatego niektórzy uważają, że strażnicę założył krakowski biskup: Jan Muskata. Inni, że był to król czeski i polski Wacław II a jeszcze inni wspominają o rodzie Toporczyków z Morawicy.

W roku 1443 przeprowadzono naprawę murów zamkowych. To na ten okres datuje się powstanie ceglanej nadbudowy wieży. Na początku XVII wieku rozpoczęła się przebudowa starego zamku z wielkim rozmachem. Od strony wschodniej został wzniesiony pałac - reprezentacyjna siedziba magnacka. Zamek w Rabsztynie częściowo utracił charakter obronnej warowni. W 1502 roku sprzedano należącą do Zamku w Rabsztynie hutę ołowiu za 90 grzywien.

Zamek Rabsztyński został spalony przez Szwedów w 1657 roku. Z ilustracji królewszczyzny rabsztyńskiej wynika, że zniszczeniu uległy izby mieszkalne w budynku bramnym. Jedna izba zamieszkała przez podstarostę “nie zgorzała”. Obawiano się o przepalone mury. Kolejne zapisy mówią, że “W dziedzińcu po prawej stronie wieża na skale bez przykrycia, w niej pokojów spustoszałych 4… Same mury tylko stoją, częściowo poobalane… Studnia w skale wykuta, murami obalonemi zawalona”.