Pada 2013 dia mengatakan kepada The Hollywood Reporter bahwa dia diasingkan dari empat di antaranya lima anaknya, karena dia mengeklaim mereka hanya menginginkan uangnya dan tidak siap untuk menunjukkan minat dalam menjalankan bisnisnya.
Baca Juga: Adik Ipar Ayus Benarkan Perselingkuhan Kakak Iparnya dengan Nissa Sabyan
Tidak jelas apakah mereka telah berdamai pada saat kematian Flynt.
Flynt mengatakan kepada media tersebut bahwa dia memiliki tempat khusus di hatinya untuk istri keempatnya Althea, yang seorang biseksual dan meninggal karena AIDS pada tahun 1987.
"Althea adalah cinta dalam hidupku," kata Flynt.
Pasangan itu bertemu ketika pelarian berusia 17 tahun itu mulai menari di salah satu kelabnya. Mereka menikah pada tahun 1976 dan tetap terikat pernikahan sampai kematiannya pada tahun 1987.***