Masjid Agung Al Ma’Arif Kota Tarakan Provinsi Kalimantan Utara didirikan pertama kali oleh masyarakat Tidung yang berada di Kampung Selumid Kecamatan Tarakan Kabupaten Bulongan Provinsi Kalimantan Timur pada tahun 1961. Lokasi Masjid Agung Al Ma’Arif terletak di Kelurahan Selumit Kecamatan Tarakan Tengah Kota Tarakan Provinsi Kalimantan Utara. Tepatnya berada di sisi salahsatu jalan utama di kota Tarakan, yaitu Jalan Yos Sudarso dan Jalan K.H. Agus Salim.
Menurut tokoh masyarakat Tidung pada masa itu, nama masjid diambil dari kata Al Ma’Arif yang memiliki arti pengetahuan dalam bahasa Arab. Ini mencerminkan peran masjid sebagai tempat untuk mendalami pengetahuan Agama Islam dan pengetahuan sosial lainnya. Kata Al Ma’Arif bentuk jamak dari kata ma’rifah dan derivasi dari kata ‘arafah berarti mengenal. Makna kata ini mencakup segala yang dikenal, baik dalam konteks agama, sains, maupun adat kebiasaan yang hidup di tengah masyarakat baik dalam skala lokal maupun skala global.
Bangunan Masjid Al Ma’Arif awalnya hanya berupa konstruksi kayu non permanen dengan bentuk konstruksi bangunan panggung sesuai jenis konstruksi bangunan pada masa itu. Pada awal tahun 70an, bangunan Masjid Al Ma’Arif ditingkatkan konstruksinya menjadi bangunan semi permanen dan mengalami perluasan areal ibadah dalam masjid. Pada tahun 80an, kontruksi Masjid Al Ma’Arif ditingkatkan lagi luasan bangunannya, dan penambahan fasilitas seperti pembangunan menara yang pada masa itu menjadi salahsatu ikonik kota Tarakan.
Seiring perjalanan waktu dan pertambahan penduduk serta jama’ah, pada pertengahan tahun 1996 dimulai perubahan besar konstruksi bangunan Masjid Al Ma’Arif. Bangunan lama dibongkar secara keseluruhan, kemudian dimulai pembangunan konstruksi baru Masjid Al Ma’Arif. Proses pembongkaran masjid lama dimulai tanggal 13 Agustus 1996, secara simultan juga dimulai pembangunan konstruksi baru.
Mengawali pembangunan konstruksi baru masjid Al Ma’Arif, pada awal Tahun 1996 dibentuk Panitia Pembangunan Masjid Al Ma’Arif yang dipimpin langsung oleh Ketua Takmir Masjid Al Ma’Arif Bapak H. Joesoef Abdullah, SH. Pada saat itu, H. Joesoef Abdullah, SH., sedang menjabat sebagai Sekretaris Kota Administratif Tarakan. Kemudian Panitia Pembangunan Masjid Al Ma’Arif didukung oleh beberapa pengusaha sukses kota Tarakan, seperti H. Muhidin, H. Soefyantan, H. Abdul Khair, SE. (Hotel Taufik), dan H. Ahmad Sunadi, SE (Hotel Harmonis). Tokoh masyarakat lain yang terlibat diantaranya Imam Besar Masjid Al Ma’Arif H.M. Saat Selayung H. Husin, Ali Wasbar Thalib, dr. Aboebakar, M.Ph., Drs. Hasyim AK. H.M. Idris, H. Arsyad HA., H. Padlan Hamid, dan beberapa tokoh masyarakat lainnya.
Desain Masjid Al Ma’Arif dirancang oleh arsitek Ir. Ramli Alex, dengan konsep arsitektur dan konstruksi beton yang diharmonisasikan dengan kearifan lokal masyarakat Tidung, yang tergambar dalam bentuk jendela-jendela lebar dengan bukaan kesamping kanan-kiri. Desain struktur dipimpin langsung oleh Ir. Sofian (waktu itu Kepala Suku Dinas Pekerjaan Umum Kota Administratif Tarakan) dengan tim teknis terdiri dari pegawai Suku Dinas Pekerjaan Umum Kota Administratif Tarakan (Ir. Imbransyah dan Syahrun). Bertindak sebagai kontraktor adalah PT. Indo Utama Karya yang merupakan perusahaan konstruksi milik H. Muhidin, yang dikenal juga sebagai pengusaha sukses dalam bidang perikanan.
Struktur masjid baru didesain tiga lantai dengan ukuran tapak 20 m x 25 m. Ketiga lantai utama digunakan untuk ruang ibadah. Lantai dasar dengan luas ±500 m², lantai dua dikurangi void menjadi seluas ±396 m², dan lantai tiga dikurangi void menjadi seluas ±313 m². Daya tampung jama’ah didalam ruangan ibadah antara 1.300 s.d. 1.500 jama’ah. Lantai atas atau rooftop ditutup menggunakan plaatdaak dan penutup atap berupa kubah berbentuk dome. Rangka atap terbuat dari baja profil, ditutup dengan atap berbahan tembaga.
Biaya pembangunan Masjid Al Ma’Arif menghabiskan dana ± Rp2,8 Milyar, berasal dari berbagai sumber diantaranya sumbangan jamaah, bantuan sosial Pemerintah Kabupaten Bulungan, Pemerintah Kota Administratif Tarakan, dan juga berasal dari Sabah, Malaysia. Kala itu, Tun Datuk Seri Panglima Haji Sakaran bin Dandai yang sedang sebagai Tuan Yang Terutama (T.Y.T). Yang di-Pertua Negeri Sabah, menyumbangkan dana pembangunan Masjid Al Ma’Arif sebanyak RM.50.000,- setara Rp50.000.000,-, yang diserahkan langsung kepada Bapak H. Joesoef Abdullah, SH. selaku Takmir Masjid Al Ma’Arif, disaksikan Imam Besar Masjid Al Ma’Arif H.M. Saat Selayung H. Husin, dan tokoh masyarakat seperti H. Arsyad H. Aboebakar, Ali Wasbar Thalib, Arsyad Thalib, Drs. H. Anang Djamal Djauhari, H. Buhari, Ahmad Sunadi, SE, dan lain-lain. Tun Datuk Seri Panglima Haji Sakaran bin Dandai atau dikenal dengan nama Tun Datuk Seri Sakaran Dandai, yang secara hubungan kekerabatan dari garis kakeknya merupakan suku Tidung dari Tarakan.
Sebelum proses pembangunan dimulai, terlebih dahulu dilaksanakan penentuan kembali arah kiblat. Penentuan arah kiblat Masjid Al Ma’Arif dilaksanakan oleh instansi yang berkompeten dan berwenang seperti Kantor Urusan Agama (KUA) Kota Administratif Tarakan, Badan Pertanahn Nasional (BPN) Kabupaten Bulongan, Pangkalan Angkatan Laut (Lanal) Tarakan, dan Kantor Syahbandar Tarakan. Penentuan arah kiblat tersebut disaksikan langsung oleh Wali Kota Administratif Tarakan Bapak Drs. H. Asran Bulkis, Sekretaris Kota Administratif Tarakan Bapak H. Joesoef Abdullah, SH., yang juga sebagai Ketua Takmir Masjid Al Ma’Arif, Camat Tarakan Barat Drs. Robansyah. Kemudian dilanjutkan penandatangan Berita Acara Arah Kiblat Masjid Al Ma’Arif.
Pembangunan konstruksi baru Masjid Al Ma’Arif secara simbolis dimulai pada tanggal 01 Juli 1996, ditandai dengan peletakan batu pertama bangunan oleh Bupati Bulungan Bapak R.A Besing. Acara dimulainya pembangunan konstruksi baru Masjid Al Ma’Arif dihadiri oleh berbagai elemen pemerintah seperti unsur Muspida Bulungan, Wali Kota Administratif Tarakan, Sekretaris Kota Administratif Tarakan, tokoh masyarakat, tokoh agama dan lain-lain. Pada saat peletakan batu pertama, diiringi do’a oleh Imam Besar Masjid Al Ma’Arif H.M. Saat Selayung H. Husin dengan harapan pembangunan masjid dapat diselesaikan dalam waktu yang tidak terlalu lama.
Bupati Bulungan R.A. Besing, saat menyampaikan sambutan pada Acara Peletakan Batu Pertama Pembangunan Kontruksi Baru Masjid Al Ma’Arif, menyebut status Masjid Al Ma’Arif sebagai Masjid Agung. Sehingga sejak tanggal 01 Juli 1996, Masjid Al Ma’Arif menggunakan nama Masjid Agung Al Ma’Arif Tarakan.
Waktu pelaksanaan pembangunan masjid menghabiskan waktu kurang lebih 4 (empat) tahun, sejak dimulai pada Juli 1996, dan selesai pada awal tahun 2000. Saat ini kondisi Masjid Agung Al Ma’Arif Kota Tarakan telah banyak mengalami perubahan dan perkembangan. Salahsatunya adalah perluasan lahan masjid yang merupakan hibah dari bantuan sosial Pemerintah Kota Tarakan pada masa Wali Kota Tarakan dr. H. Jusuf. SK, pada periode tahun 1999 s.d 2009.
Mengacu kepada Keputusan Direktur Jenderal Bimbingan Masyarakat Islam Nomor DJ.II/802 Tahun 2014 Tentang Standar Pembinaan Manajemen Masjid, Wali Kota Tarakan Periode 2019-2024 dr. H. Khairul, M.Kes., untuk pertama kali menerbitkan Surat Keputusan Wali Kota Tarakan Nomor: 100.3.3.3/HK-X/497/2023 tanggal 25 Oktober 2023 tentang penetapan Pengurus Takmir Masjid Agung Al Ma’Arif Kota Tarakan Masa Bakti 2023-2026. Berdasarkan SK Wali Kota Tarakan tersebut, maka telah disahkan nomenklatur masjid Al Ma’Arif sebagai Masjid Agung Al Ma’Arif Kota Tarakan.