Selain aktif mengajar, beliau juga aktif dalam berbagai kegiatan, baik lokal maupun nasional. Pada tanggal 16 Sa'ban 1344 H/31 Januari 1926 M, di Jombang, Jawa Timur, didirikan Jam'iyah Nahdlotul Ulama' (kebangkitan ulama) bersama KH. Bisri Syamsuri, KH. Wahab Hasbullah, dan ulama besar lainnya, seperti Imam Muhammad bin Idris Al Syafi'i, Imam Malik bin Anas , Imam Abu Hanifah An-Nu'am dan Ahmad bin Hambali.

KH. Hasyim Asy'ari terpilih menjadi rois akbar NU, gelar yang kini tak dimiliki siapa pun. Ia juga menyusun qanun dasar NU yang mengembangkan ideologi Ahli Sunnah wal jama'ah. Nahdlatul ulama 'sebagai ikatan ulama' di seluruh Indonesia dan mengajarkan jihad untuk keyakinan dengan sistem yang terorganisir.

Memang tidak mudah menyatukan para ulama' yang berbeda pandangan, namun bukan Kiai Hasyim yang menyerah begitu saja, ia melihat perjuangan yang dilakukan seorang diri akan membuka peluang yang lebih besar bagi musuh untuk menghancurkannya, baik penjajah atau mereka yang ingin memadamkan cahaya. dan syi'ar Islam di Indonesia, saling bertikai.

Beliau adalah orang yang tajam dan berpandangan jauh ke depan dalam hal ini, melihat bahaya yang akan dihadapi oleh umat Islam, maka dari itu beliau berpikir untuk mencari jalan keluar dengan membentuk organisasi dengan yayasan yang dapat diterima oleh ulama ulama lainnya.