Dia juga pernah menjadi menteri keuangan dan menteri energi.
Pemerintah Norwegia bulan lalu mengatakan wakil kepala bank sentral, Ida Wolden Bache, akan bekerja sebagai gubernur sampai Stoltenberg mengambil alih jabatan puncak pada akhir tahun.
Kementerian keuangan mengatakan sekarang akan mengusulkan Wolden Bache untuk memimpin bank tersebut untuk masa jabatan enam tahun penuh.
Dia adalah wanita pertama yang menjalankan Norges Bank dalam 206 tahun sejarahnya.
"Kami harus mencari gubernur baru dan itu akan menjadi Ida Wolden Bache selama enam tahun jika pemerintah menerima," kata juru bicara kementerian keuangan.
Pencalonan Stoltenberg ke bank sentral pada Februari menciptakan kontroversi di negara asalnya, dengan oposisi di parlemen khawatir pengangkatannya dapat melemahkan independensi Norges Bank.
Norwegia diperintah oleh koalisi yang dipimpin oleh Partai Buruh, yang dulu dipimpin Stoltenberg.
Bache, yang sebelumnya pada hari Kamis mempresentasikan keputusan bank sentral Norwegia untuk menaikkan suku bunga menjadi 0,75 persen dari 0,50 persen, mengatakan dia akan setuju untuk melanjutkan jabatannya.