Teritorija ir izvietojusies Vidzemes augstienes pašā ziemeļu malā.
Kazugrava ir dziļa un izteikta subglaciālā iegultne (senleja) - ielejas veida reljefa forma, kas dabas pieminekļa teritorijā ir 2,4 km gara, 300-800 m plata un 35-42 m dziļa. Kazugrava šķeļ Vidzemes augstienes malas izvirzījumu un savieno augstienes nogāzi ar Vaives un Raunas senlejām. Tā ir neparasti izteiksmīga grava un ievērojama gan ar saviem izmēriem, gan nogāžu stāvumu.
No dienvidiem Kazugravai, tās rietumu galā, pieslēdzas mazāka ielejveida forma - Lībānu-Jaunzemju jeb Septiņavotu leja ar atzariem.
Teritorijā atrodas daudzveidīgi, izteiksmīgi ģeoloģiskie veidojumi - saldūdens kaļķiežu iegulas, avoti, kas bagāti ar kalcija hidrogēnkarbonātu, avoksnāji, ūdenskritumi, gravas, proluviālie iznesu konusi, dolomītu atsegumi, alas, kritenes, pamesti karjeri.
Kazugravas ziemeļu nogāzes augšējā krotē sastopami augšējā devona Pļaviņu svītas dolomīta atsegumi, bet dienvidu nogāzes augšdaļā – gan Pļaviņu svītas dolomīta, gan Amatas svītas smilšakmeņu atsegumi. Dolomītos ir izveidojušās alas, vairāk to ir senlejas ziemeļu pusē. Tās ir lielākās dolomītu alas Latvijā. Lielās Sikspārņu alas visu eju garums sasniedz 64 m un ejas pazemē iesniedzas aptuveni 35 m, alai ir divas zāles un četras ieejas, grīdas platība ap 175 m2. Viena ala atrodas arī senlejas dienvidu nogāzes augšdaļā. Visticamāk, ka alas veidojušās pazemes erozijas procesos, izskalojot zem dolomītiem esošo smilšakmeni, kā rezultātā iegruvis to pārklājošais dolomīts. Alas šobrīd ir ļoti bīstamas apmeklējumiem, jo nobrukumu procesi tajās turpinās un nav prognozējami.
Kazugravas un Lībānu-Jaunzemju lejas savienojuma vietā atrodas šūnakmens iegula, kas ir izstrādāta, izņemot vienu iecirkni. Šūnakmens nogāzes veido atsegumus, kas ir līdz 6 m augsti, stiepjas 50 m garumā un ir lielākie šūnakmens atsegumi Latvijā.
Lībānu–Jaunzemju lejā ir vairāku dīķu kaskāde, kurā satek avotu ūdeņi no lejas atzariem. Pie Lībānu mājām senlejas nogāzē ir izveidojies avotcirks, kurā ūdeņi izplūst nelielu avotu un avoksnāju veidā un saplūstot veido ar ūdeņiem bagātu strautu. Spēcīgākie avoti ir nelielajā Inkuļu lejā un lielākie no tiem ir ar aptuveni 20 L/sek un 10 L/sek lielu ūdensdevi. Iespējams, ka pazemes ūdeņu atslodze notiek arī Lībānu–Jaunzemju lejas dibenā, zem dīķu ūdeņiem.
Avotu ūdeņi no Lībānu-Jaunzemju lejas dīķiem izplūst kā strauts (Septiņavotu strauts) un, plūstot pār bijušā šūnakmens karjera nogāzi, veido 7,5 m augstu krāčveida ūdenskritumu – Septiņavotu ūdenskritumu, kas ir viens no ievērojamākajiem Latvijā.
Senlejas ziemeļu nogāzes augšdaļā, aptuveni 200 m dienvidaustrumos no Ceipu mājām, ir spēcīgs avots ar ūdensdevi aptuveni 20 L/sek.
Uz austrumiem no Septiņavotu ūdenskrituma Kazu senlejas, nogāzes daļā atrodas kaļķiežu izgulsnēšanās josla, kur lielākoties ir izstrādāta. Šī josla stiepjas vismaz 450 m garumā un ir līdz 40-50 m plata. Vairākos sīkos avotiņos novērojama kaļķiežu izgulsnēšanās un norakto iegulu lēna atjaunošanās.
Kazugravai raksturīgs U veida šķērsprofils. Tās nogāzes ir ļoti stāvas un vietām sasniedz dabiskā nobiruma leņķi. Gravas nogāžu augšdaļā augšējā devona Pļaviņas svītas dolomīti ir plaisaini un veido stāvas kraujas. Tajos, dolomītiem pagulošā Amatas svītas smilšakmens pazemes erozijas un plaisainā dolomīta iegruvumu rezultātā, ir izveidojušās iepriekš minētās alas un kritenes. Pēc ģeoloģiskās kartēšanas datiem, leja ir dziļi iegrauzta devona pamatiežos. Nogāžu lejasdaļā parādās morēnas nogulumi, kas norāda uz lejas veidošanos subglaciālos apstākļos, vismaz vēlā Latvijas ledāja maksimālās transgresijas laikā, ledus masām pārklājot Vidzemes ziemeļdaļu. Mūsdienu apveidu leja ieguva Burtnieka ledus lobam atkāpjoties no Linkuvas ledāja malas veidojumu joslas. Kazu gravas novietojumu un morfoloģiju, visticamāk, ir ietekmējuši ne tikai pēdējā leduslaikmeta beigu posma procesi, bet arī senākas subkvartārās virsmas saposmojuma un uzbūves īpatnības.
Kazu gravas gultnē ievērojamos apjomos ir uzkrājusies kūdra un aluviālie nogulumi.
Dabas piemineklim ainaviskās vērtības piešķir reljefa artikulācija un mežainums, kas rada neaizskartas un nepārveidotas dabas ainavu. Īpaši ainaviska ir Lībānu–Jaunzemju leja ar zilganajiem avotu ūdens dīķiem un saldūdens kaļķiežu iegulas atsegums ar Septiņavotu ūdenskritumu.
Dabas piemineklī atrodas ES aizsargājami biotopi: avoti, kas izgulsnē avotkaļķus (7220*), karbonātisku pamatiežu atsegumi (8210), veci vai dabiski boreāli meži (9010*), nogāžu un gravu meži (9180*). Dabas piemineklī esošās alas ir ļoti nozīmīga sikspārņu ziemošanas vieta.
