Jeff iniziò a suonare molto giovane come chitarrista autodidatta e già a 16 anni vinse a Wisconsin un concorso per chitarristi. Dopo essere entrato a far parte di alcune piccole band, Jeff entrò a far parte dei Sanctuary, che recentemente avevano licenziato il loro chitarrista. Con tale band Loomis non registrò nessun album anche perché, pochi anni dopo il suo ingresso nel gruppo, lasciò i Sanctuary per fondare, con il cantante Warrel Dane e con il bassista Jim Sheppard, una nuova band, i Nevermore, ultimamente ha registrato il suo album solista Zero Order Phase. Nell'aprile 2011 Loomis annuncia l'uscita dai Nevermore, a causa di insanabili divergenze con gli altri membri della band. Il 9 aprile 2012 (in Europa, e il giorno dopo nel Nord America) la Century Media Records ha rilasciato il secondo album solista Plains of Oblivion.
