Ingólfur hefur starfað við sölu fasteigna frá árinu 1989. Árið 1995 stofnaði Ingólfur Valhöll fasteignasölu í félagi við Bárð Tryggvason og var eigandi þar til 1. mars 2023 er Valhöll var seld til núverandi eigenda. Ingólfur er mikill íþróttmaður og hefur unnið til margra verðlauna fyrir sund og maraþonhlaup. Þá hefur Ingólfur klifið mörg af hæðstu fjöllum heims og þ.m.t. hæðsta fjall heims, Everest. Ingólfur er giftur Margréti Björk Svavarsdóttur og eiga þau þrjár dætur og þrjú barnabörn og búa í Grafarvogi.