MRSM Tun Ghafar Baba ditubuhkan pada tahun 1981. Terletak di Daerah Jasin di atas satu kawasan seluas 50 ekar. Perasmian tapak telah disempurnakan oleh Ketua Menteri Negeri Melaka ketika itu, YAB Datuk Mohd Adib Adam pada 21 Jun 1981. Pembangunan fasa pertama mengandungi Blok Akademik, Blok Pentadbiran, Blok Asrama, Dewan Selera, Dewan Kuliah, Dewan Besar, Pusat Sumber Ilmu dan Blok Makmal.



Pengambilan pelajar pertama ialah pada 02 Ogos 1982 terdiri dari 150 orang pelajar tingkatan satu dan 150 orang pelajar tingkatan dua. Manakala bilangan guru pula ialah seramai 16 orang. Pembukaan rasmi maktab ini telah disempurnakan pada 08 Mac 1984 oleh Timbalan Perdana Menteri YAB Datuk Musa Hitam.


Pada tahun 1996, MRSM Tun Ghafar Baba telah mengikuti Program Khas Pendidikan (PKP) sepenuhnya sehinggalah sekarang. Ini bermakna MRSM Tun Ghafar Baba hanya mengambil pelajar lepasan PMR sahaja (yang layak) untuk ke tingkatan 4 dan seterusnya ke tingkatan 5. Sempena menyambut ulang tahun ke-25 MRSM Jasin ditukar nama kepada MRSM Tun Ghafar Baba pada 25 Julai 2006 oleh Menteri Pembangunan Usahawan & Koperasi, Y.B Dato Seri Mohamed Khaled Bin Nordin.