Sir Bob har fått kritikk for å ha brukt for mye tid på veldedighetsarbeid og derigjennom neglisjert sine tenåringsdøtre.Geldof har tatt seg av barna Fifi (22), Peaches (16) og Pixie (14) siden 2000 da deres mor Paula Yates døde. Han har også adoptert Yates sin datter Tiger Lily som hun fikk sammen med den avdøde vokalisten i australske INXS, Michael Hutchence.
Den tidligere Police-sjefen Sting finner det avskyelig at Geldof er blitt beskyldt for å tillate jentene sine å være ute til seint på natt i sexy antrekk.
— Jeg synes Bob har klart dette utrolig bra. De er virkelig flotte unger. Han har måttet oppdra dem i virkelig vanskelige og smertefulle omstendigheter og han har virkelig gjort en kjempejobb. Han er en fantastisk far.
— Jeg har vært veldig heldig. Jeg har ikke måttet takle så vanskelige omstendigheter, men å være far er alltid en utfordring.
Geldof har lenge støttet den britiske lobbyist-gruppen Fathers For Justice som arbeider for at fedre får de samme rettighetene som mødre innenfor lovverket.