Secara historis, Pesantren At-Tahdzib (PA) dirintis pertama kali oleh Hadratus – Syaikh Romo KH. Ihsan Mahin di desa Payak Mundil Ngoro Jombang pada tahun 1958. Bahkan ketika itu sudah sempat didirikan bangunan pondok. Berdirinya pondok Pesantren At-Tahdzib berawal dari adanya keinginan beberapa pemuda yang ingin menimba ilmu kepada Hadratus –Syaikh Romo KH. Ihsan Mahin yang saat itu dikenal seorang yang mumpuni dalam bidang agama serta sabar, gigih, teguh pendirian, dan banyak riyadlah (menepa diri dengan puasa, dzikir, dan tafakkur), kemudian mereka melakukan kegiatan tersebut di rumah beliau. Karena keuletan dan daya karismatiknya sehingga nama beliau dikenal tidak hanya di wilayah Jawa Timur saja, akan tetapi hingga Jawa Tengah. Seiring perkembangan waktu, jumlah santri bertambah dan berkembang hingga memiliki elemen – elemen seperti mushalah, tempat belajar, dan pondokan yang meskipun pada awalnya amat sederhana, maka berubahlah statusnya menjadi sebuah pesantren.
Kemudian, karena beberapa pertimbangan strategis, pada tahun 1960 (tepat pada tanggal 17 syawal) PA dipindah ke Rejoagung Ngoro Jombang sampai sekarang. Dengan demikian, PA sekarang berusia 49 tahun.
Pendirian PA dilatar belakangi oleh niat tulus –ikhlas Hadratus-Syaikh Romo KH. Ihsan Mahin untuk menyebarkan ajaran agama Allah dan membantu para pencari ilmu Allah dengan tujuan li I’lai kal;imatillah (menjunjung tinggi agama Allah).
Hadratus Syaikh Romo KH. Ihsan Mahin adalah putra pendatang dari Jawa Tengah, tepatnya dari desa Surupan, kecamatam Nguntoronadi, Kabupaten Wonogiri. Beliau belajar ilmu agama tidak dari satu pesantren saja, tapi dari ulama dari berbagai pesantren khususnya Jawa Timur,di antaranya adalah pesanteren Sidosremo Surabaya dalam kepengasuhan Haratus-Syaikh Romo KH. Mas Muhajir.
Setelah masa perintisan PA mencapai jumlah kurang lebih 700 santri, kepemimpinan dan kepengasuhan PA dilanjutkan oleh putra tertua beliau, yakni Almukarram Romo KH. Ahmad Masruh IM dan di dukung oleh semua pihak , maka pesantren ini berkembang dengan pesat hingga saat ini telah memiliki sekiter 1000 santri dari berbagai propinsi di Indonesia.
Keberadaan Pesantren At-Tahzib sekarang merupakan hasil dari sederetan usaha yang dirintis dan dikokohkan oleh Hadratus –syeh KH. Ihsan Mahin, kemudian dikembangkan oleh Almukarram Romo K. Ahmad Masruh IM. Keingginan mulia hadratus –syeh Romo kh Ihsan Mahin untuk mengabdikan ilmu kepada agama dan masyarakat diikuti oleh segenap usaha lahir dan batin beliau. Bahkan salah satu hal yang cukup tandas adalah peran keterlibatan keluarga dalam masa-masa awal pembangunan pondok sampai sekarang. Menurut informasi dari bebrapa sumber terpercaya, bahwa saat membangun pondok, Hadratus–syeh Romo KH. Ihsan Mahin bersama anggota keluarganya hidup prihatin selama 40 hari. Tradisi hidup prihatin ini dilakukan hampir setiap tahun, Karena kebutuhan sarana gudung seiring dengan semakin bertambahnya jumlah santri yang ingin belajar kepada beliau. Sebagian besar hasil panen tanaman milik keluarga digunakan untuk biaya pembangunan pondok.
Di samping itu, peran para santri juga besar dalam realisasi seluruh bangunan pondok, pendidikan formal, dan unit-unit yang ada di bawahnya, karena mereka menanamkan amal jariyah berupa tenaga untuk itu. Hal tersebut masih berlangsung sampai sekarang. Singkatnya, siapapun yang pernah belajar (nyantri) di PA, khususnya santri putra, maka dia sedikit banyak pernah menanamkan amal jariyah dalam realisasi seluruh bangunan tersebut.
Seluruh amal jariyah para santri tersebut sangat mulia dan berharga bagi mereka sendiri, agama maupun masyarakat luas. Sebab, gedung-gedung tegak dengan tujuan mulia untuk mencetak para alim yang kelak diharapkan ilmunya menjadi parapioner yang meneruskan perjuangan Islam untuk membina dan membimbing masyarakat agar faham agama dan menjadi pengamal agama yang baik
Selain para santri , peran masyarakat sekitar juga besar, khususnya dalam masa-masa awal (babat alas) pendirian PA. dengan rasa syukur dan penghargaan yang tinggi atas keberadaan PA, mereka (masyarakat sekitar) ikut berpartisipasi dalam bentuk apapun sesuai dengan kemampuanya. Bahkan beberapa pelaku sejarah mengisahkan keterlibatan para ibu masyarakat sekitar untuk ikut mengusung bamboo, kayu, dan batu bata untuk cikal bakal pembangunan gedung-gedung pondok. Dengan segenap syukur dan ketulusanya, mereka juga memberikan apapun yang bisa mereka berikan, meski itu berupa ubi kayu (pohong) atau air putih kepada para santri dan masyarakat yang ikut kerja bakti dalam guthekan (gedung sederha dalam masa awal pondok) dan gedung-gedung lainya.
Pesantren terbesar dalam kecamatan Ngoro ini memiliki model pendidikan praktis dalam ‘ubudiyah, disamping teori sebagaimana model pendidikan pondok pesantren yang lain. Hal itu ditetapkan sebagai pegejawatahan dari visi, misi, dan tujuan PA.
Visi PA adalah “menjadi pesantren salaf yang kokoh dengan pilar-pilar Ahlaq mulia dan kecerdasan spiritual- Emosial-Intelektual”.
Misi PA adalah (1) menunjang program pemerintah dalam bidang agama, pendidikan, sosial, dan budaya, (2) membentuk insan yang bertakwa kepda Allah dan Rasul-Nya, berilmu dan beramal soleh ,serta ikhlas berbakti kepada agama, nusa-bangsa, dan Negara.
Tujuan PA adalah “mencetak kader intelek yang wali dan wali intelek. “ Istilah “intelek” dimaksudkan mampu menguasai ilmu pengetahuan dan mampu mengaplikasikannya. Sedangkan istilah “wali” dimaksudkan hatinya senantiasa berdzikir kepada Allah SWT dan Takhalluq bi Akhlaqi Rasulillah SAW. Visi dan misi ini ditegakkan diatas prinsip-prinsip moral islami dan akhlaq mulia (al-akhlaq al- karimah).
Sejalan dengan visi dan misi tersebut, maka Pesantren At-tahdzib merasa perlu memasukan dan mengembangkan kurikulum pendidikannya dengan mendirikan lembaga pendidikan formal, sehingga saat ini Pesantren At-Tahdzib telah memiliki beberapa lembaga pendidikan formal mulai dari tingkat Madrasah Tsanawiyah (SLTP) sampai dengan perguruan tinggi (PT).