Zamek stoi na wysokim wzgórzu Garbu Tenczyńskiego. Według Długosza początkowo była to siedziba rozbójników. W 1243 r. Bolesław Wstydliwy polecił biskupowi Prandocie wybudowanie zamku dla ochrony granic państwa. Wtedy powstał pierwszy murowany element warowni – wieża obronna o średnicy 9 m, która pełniła też rolę więzienia dla skazanych na śmierć głodową. Do 1443 r. zamek był rezydencją biskupów krakowskich, Lipowiec pozostał jednak w rękach kościelnych; powstało tu więzienie dla duchownych, istniejące do końca XVIII w. Trafiali do niego świętokradcy, heretycy, krnąbrni księża i zwolennicy reformacji. W XV w. zamek rozbudowano, nadając mu obecny kształt. Wieżę nadbudowano o trzy kondygnacje. Budowla była zamieszkana do poł. XIX w. W latach 1961–68 przeprowadzono prace konserwatorskie i przystosowano zamek do zwiedzania. Ruiny zamku wraz z otaczającym go naturalnym lasem bukowym objęte są rezerwatem przyrody Lipowiec. Utworzono go w 1959 r. na powierzchni 11,36 ha.