Masjid Agung Baitul Hakim ini menjadi Masjid Terbesar di Kota Madiun, sesuai dengan fungsinya sebagai sebuah Masjid Agung untuk sebuah kota yang cukup besar. Pemilihan lokasi Masjid Agung Baitul Hakim tentu saja harus strategis, mengingat fungsinya sebagai sebuah masjid agung. Didirikan di barat alun-alun kota madiun, tepat dijantung kota tersebut.
Kita akan langsung mengenali bangunan Masjid Baitul Hakim dengan beberapa ciri khasnya. Memiliki 5 kubah besar di bagian atap ruang utama dan serambinya, yang dibalut dengan warna biru tua dan biru laut, serta dibentuk dengan mozaik indah. Kubah berukuran paling besar diletakkan tepat diatas ruang utama sholat, kemudian 4 kubah berukuran lebih kecil dipasang di beberapa sudutnya.
Sebanyak 4 menara yang menjulang tinggi turut dibangun di keempat sudutnya, tepatnya disamping bangunan kubah kecil. Satu menara yang paling tinggi terletak dibagian utara pintu masuk masjid, dan digunakan sebagai tempat pengeras suara. Tingginya mencapai 25 meter.
Ada beberapa versi yang menceritakan tentang pembangunan masjid ini petama kali, namun versi yang paling mendekati kebenaran dan dipercaya oleh masyarakat sekitar adalah : bangunan Masjid Agung Baitul Hakim didirikan pada tahun 1830 Mashie, oleh pimpinan Ronggo Jumeno pada saat masa-masa penjajahan Belanda.
Renovasi besar-besaran, atau bahkan dapat disebut dengan pembangunan total dilakukan pada tahun 2002 silam, dengan pemasangan tiang seribu. Bukan jumlahnya yang benar-benar 1.000 tiang, namun ada banyak sekali tiang-tiang penyangga struktur bangunan yang sengaja dibangun untuk memperkokoh bangunan dan memperindahnya.
Meskipun disebut dengan Tiang Seribu, namun bangunan utamanya tetap memiliki 4 soko guru (tiang pilar) utama yang masih asli terbuat dari Kayu Jati Asli. 4 tiang soko guru ini sekaligus menjadi sebuah ciri khas masjid-masjid tua yang ada di Nusantara, terutama pada masa atau sebelum penjajahan Belanda.
Renovasi dari tahun 2002 tersebut membutuhkan waktu hingga 9 tahun untuk menyelesaikan desain sempurnanya. Baru pada tahun 2011 renovasi rampung dilakukan dan menghasilkan sebuah masjid yang sangat megah dengan dominasi warna biru. Kemegahan tersebut sangat terlihat dari warna-warna mencolok yang digunakan untuk membalut bangunan masjid ini.
Pembangunan Masjid Agung Baitul Hakim ini terlihat masih menghormati desain aslinya dengan tetap mempertahankan bentuk asli bangunan asalnya. Namun untuk bagian luarnya hampir keseluruhan sudah memiliki desain yang modern. 4 Soko Guru yang masih dipertahankan merupakan salah satu contoh tersebut. Selain itu, atap berbentuk Joglo (Limas) pada serambi makmum juga tetap dipertahankan sebagai bentuk penghormatan kepada budaya khas jawa.
Selain 4 Soko Guru yang berukuran besar, ternyata juga ada 16 pilar kecil berbahan baku kayu jati asli yang juga masih dipertahankan hingga kini. Semuanya masih utuh dan masih dalam kondisi terbaiknya, sehingga tidak perlu dikhawatirkan kekuatan yang dimilikinya. Ada yang unik dari keseluruhan tiang dari kayu jati tersebut, sudut pemasangannya tidaklah lurus tegak, namun justru miring sekitar 5 – 8 derajat. Pilar-pilar tersebut memang sedari awal masjid ini dibangun sudah dibuat miring beberapa derajat, terlepas dari tujuan yang sebenarnya.
Selain tetap mempertahankan arsitektural asli khas budaya Indonesia, Masjid Agung Baitul Hakim ini juga mengadopsi budaya arsitektural Eropa dan Timur Tengah. kita bisa melihatnya pada bagian ornamen-ornamen dasarnya, kemudian bentuk lantai, menara dan kubahnya yang menganut arsitektural khas Eropa dan Timur Tengah. Tentu saja dengan perpaduan gaya yang berbeda-beda tersebut menghasilkan sebuah bangunan masjid yang ramai, ada nuansa klasik, namun juga ada nuansa modern, serta nuansa kearab-araban.