Medya sektörüne 1983 yılında girdi. Yılmaz, Güneş gazetesinin 1989 yılına kadar sahibi oldu.
1996 yılında Antalya Kemer’de Zigana Tatil Köyü’nü faaliyete geçirerek turizm sektörüne de girdi.
1991 ila 1995 yılları arasında 19. Dönem DYP'den Trabzon milletvekili oldu. 49. ve 50. Dönem hükümetlerinde Spordan Sorumlu Devlet Bakanı olarak görev aldı.
ÜÇ KEZ TRABZONSPOR BAŞKANI SEÇİLDİ
Trabzonspor Kulübü Onursal Başkanı olan Mehmet Ali Yılmaz, 1982-2000 yılları arasında, çeşitli dönemlerde Trabzonspor Kulübü Başkanlığı yaptı.