Awa! berdirinya Pondok Pesantren Al-Mubatok bermula dari sebuah niatan baik dari pemilik tanah yang ingin mewakafkan tanahnya sebagai tempat menimba ilmu. Saat itu, Bapak Suradi Hanafi selaku pewakaf meminta kepada KH. Mahmudi untuk menggunakan tanah tersebut sebagal tempat menimba ilmu. Dengan keyakinan yang kuat, KH. Mahmudi berniat menggunakan tanah tersebut dengan mendirikan Pondok Pesantren. Ide tersebut pun disambut baik oleh masyarakat sekitar. Akhirnya sekitar awal Oktober 1997, Pondok Pesantren Al-Mubarok didirikan dengan bantuan badan hukum Notaris Ny. Subandiyah Amma Rasof, SH No. 23 Bulan Oktober Tahun 1997.
Pada masa awal pendirian, Pondok Pesantren Al-Mubarok hanya sebuah tempat mengaji dan pondok pesantren tradisional atau salafiyah yang santrinya hanya mengaji dan menetap sementara, kebanyakan santri-santri pada waktu itu bersekolah umum di luar pesantren di daerah Serang.
Kebutuhan pendidikan yang berkualitas di Kota Serang semakin meningkat semenjak memasuki tahun 2000, Melihat peluang tersebut KH. Mahmudi segera mengambil langkah selanjutnya dengan membuka beberapa lembaga pendidikan formal. Perkembangan Yayasan Al-Mubarok mulai pesat, semenjak Al-Mubarok membuka kegiatan belajar mengajar tingkat Madrasah Tsanawiyah (MTs) tahun 2001, Pada waktu itu MTs Al-Mubarok hanya memiliki satu ruang belajar dan satu kantor operasional, namun berkat kegigihan beliau dan atas usaha dakwah serta semua pihak Al-Mubarok sampai saat ini telah membuka beberapa lembaga di antaranya Madrasah Diniyah Awaliyah (MDA), Sekolah Dasar Islam Terpadu (SDIT), Madrasah Tsanawiyah (MTs), Sekolah Menengah Atas (SMA), Sekolah Menengah Pertama Islam Terpadu (SMPIT), Majelis Ta'lim, Panti Sosial Asuhan Anak (PSAA) dan beberapa ekstrakulikuler di antaranya Pramuka, Marching Band, Tahfidz Qur'an, dll.
Pondok Pesantren Al-Mubarok Serang yang didirikan pada tanggal 10 Oktober 1997 merupakan lembaga pendidikan agama dan keagamaan yang berada di jantung kota Serang sebagai wadah pendidikan Islam, cendikiawan juga bengkel aqidah, bengkel moral bagi generasi muda dalam menghadapi dampak negative kemajuan tekhnologi baik dalammaupun luar yang akan merusak sendi-sendi kehidupan sosial masyarakat.
Pondok Pesantren adalah lembaga pendidikan tertua di indonesia yang telah melahirkon putra putri bangsa terbaik, telah andil besar dalam perjuangan dan mempertahankan keutuhan bangsa dan negara dari penjajah, maka pemerintah berkewajiban untuk membantu baik fisik maupun moril sesuai dengan Undang-Undang No. 20 tahun 2003 tentang sistem pendidikan nasional.