Figlio del bibliotecario Giorgio e dell'insegnante di lettere Rita Grechi, ricevette il nome di battesimo in memoria di Francesco De Gregori, suo zio paterno, ufficiale degli Alpini e successivamente partigiano vicecomandante delle Brigate Osoppo, ucciso a Porzûs nel 1945 dai partigiani comunisti delle Brigate Garibaldi.
Per via della professione del padre, crebbe a Pescara fino circa ai dieci anni per poi tornare a Roma; frequentò il liceo classico Virgilio e poi tutto un corso universitario senza però laurearsi, completando gli esami e concordando la tesi di laurea con Renzo De Felice, senza però terminarla. A 15 anni, nel 1966, insieme a suo padre e a suo fratello Luigi Grechi (anche lui futuro cantautore, che sceglierà di farsi chiamare artisticamente con il cognome materno), di sette anni più anziano, si recò a Firenze per prestare soccorso alla popolazione colpita dall'alluvione.
Il 1966 fu anche l'anno in cui iniziò a suonare la chitarra (il primo brano che imparò a suonare fu Il ragazzo della via Gluck di Celentano); la sua prima composizione originale, sempre di quel periodo, è un brano che racconta la storia di un disoccupato che sale sul Colosseo per avere un lavoro, ma scivola e muore.
