Pada tahun 1303 H/1892 M, Kiai Hasyim yang saat itu baru berusia 21 tahun menikah dengan Nyai Nafisah, putri Kiai Ya'qub. Tidak lama setelah melangsungkan pernikahan, ia kemudian berangkat ke Tanah Suci Mekkah untuk menunaikan ibadah haji bersama istri dan mertuanya. Selain menunaikan ibadah haji, di Mekkah ia juga memperdalam ilmu yang sudah dimiliki, dan menyerap ilmu baru yang dibutuhkan.

Sayangnya, karena berbagai alasan, pernikahan tersebut tidak berlangsung lama sehingga Kiai Hasyim kembali ke Jombang. Saat berada di Jombang, ia berencana membangun pesantren, yang ia pilih bertempat di Dusun Tebuireng yang pada saat itu menjadi sarang pembangkangan dan kekacauan. Pilihan tersebut tentu saja menuai tanda tanya besar di kalangan masyarakat, namun semua itu diabaikan.

Pada tanggal 26 Rabiul Awal 1317 H/1899 M, Pesantren Tebuireng didirikan bersama rekan-rekan seperjuangannya, seperti Kyai Abbas Buntet, Kiai Sholeh Benda Kerep, Kiai Syamsuri Wanan Tara, dan beberapa Kiai lainnya, segala kesulitan dan ancaman dari pihak-pihak yang terlibat.

KH. M. Hasyim Asy'ari memulai tradisi yang kemudian menjadi salah satu keistimewaannya yaitu penyelesaian kitab shahihain “Al-Bukhari dan Muslim” yang diadakan setiap bulan suci Ramadhan yang konon dihadiri ratusan kiai yang datang berbondong-bondong dari seluruh Jawa. Tradisi ini berlanjut hingga sekarang.

Awalnya santri Pondok Tebuireng yang pertama berjumlah 28 orang, kemudian bertambah menjadi ratusan orang, bahkan sampai akhir hayat mencapai ribuan, alumni Pondok Tebuireng yang berhasil menjadi ulama besar dan menjadi pejabat tinggi negara, dan Tebuireng menjadi pusat pesantren.

Kerinduan akan Tanah Suci rupanya memanggilnya untuk kembali ke Mekkah. Pada tahun 1309 H/1893 M, beliau kembali ke Tanah Suci bersama adiknya, Anis. Kenangan indah sekaligus sedih kembali terlintas saat kakinya menginjak Tanah Suci Mekkah. Namun justru menimbulkan semangat baru untuk lebih bertakwa dalam beribadah dan mendalami ilmu.