Dinamakan Gua Tembus karena gua ini memiliki dua pintu yang dihubungkan lorong sekitar 100 meter. Lorong itu menembus bukit yang disusun oleh batu gamping formasi Oyo. Formasi ini tersebar luas di sepanjang Kali Oyo. Karstifikasi kedalaman tanah dimulai sejak batu gamping terangkat dari dasar laut, pada jutaan tahun lalu.
Pemandangan dari pintu sebelah barat yang berada di ketinggian bukit sangat indah. Sejauh mata memandang tampak gundukan bukit-bukit berpuncak melengkung yang mewarnai Karst Gunung Sewu. Bangunan Museum Karst mencuat dari dasar sebuah dolina. Dolina adalah lubang berbentuk corong.