Lise yıllarında tanışıp 1974'te evlendiği Şükran Toroğlu'ndan 2011'de ayrıldı, Kasım 2017'de anlaşmalı olarak boşandı. Erman Toroğlu'nun bu evlilikten iki çocuğu bulunmaktadır.