30 yaşında futbolculuğu bırakan, 1984 yılında ise hakemlik görevine başlayan Toroğlu, 1989'da FIFA kokartı takarken, 1993'te yeşil sahalara veda etti.

Lise yıllarında tanışıp 1974'te evlendiği Şükran Toroğlu'ndan 2011'de ayrıldı, Kasım 2017'de anlaşmalı olarak boşandı. Erman Toroğlu'nun bu evlilikten iki çocuğu bulunmaktadır.