Karir politiknya di Gerindra dimulai sejak partai itu dibentuk, hingga di 2012 sampai sekarang dipercaya menjadi Wakil Ketua Umum Bidang Keuangan dan Pembangunan DPP Partai Gerindra.
Di Pemilu 2009, Edhy lolos menjadi anggota DPR dan bertugas di Komisi VI DPR RI yang membidangi perdagangan, perindustrian, koperasi, dan BUMN. Di Pemilu 2009 itu, Edhy menjadi caleg dari kampung halamannya yaitu Dapil Sumatera Selatan II. Di Dapil tersebut, Edhy bersaing dengan beberapa nama politisi senior seperti Mustafa Kamal, Dodi Alex Nurdin, dan Nazarudin Kiemas. Di Pemilu 2014, Edhy kembali lolos ke Senayan, dari Daerah Pemilihan (Dapil) Sumatera Selatan I setelah memperoleh 75.186 suara.
Lalu sejak 2014-2019 Edhy menjadi Ketua Komisi IV DPR RI yang membidangi pertanian, perkebunan, kehutanan, kelautan, perikanan, dan pangan. Hingga sekarang masuk jajaran Kabinet kerja jilid 2 Joko Widodo sebagi Menteri Kelautan yang sebelumnya menggantikan Susi Pudjiastuti.***