Nato a Chicago cominciò a suonare clarinetto e sax durante gli studi superiori esibendosi nella band della scuola prima, poi nell'orchestra dell'esercito in Germania durante il servizio militare. Tornato a Chicago nel 1961 fondò un sestetto insieme a Henry Threadgill e Joseph Jarman con i quali suonò musica sperimentale, sino al suo ingresso nella Experimental Band of Chicago di Muhal Richard Abrams, un crogiuolo di musica d'avanguardia al quale si sarebbe ispirato il free jazz di Chicago. Nel 1965 fu un socio fondatore dell' AACM e nel 1967 fondò la Roscoe Mitchell Art Ensemble, 1971 a Chicago Mitchell seppur ormai musicalmente maturato ha continuato a sviluppare una straordinaria gamma di progetti, compresi recital come solista, duetti e dal 1990 escursioni nella musica classica, suonando con la rifondata Art Ensemble of Chicago anche dopo la morte di Lester Bowie. Le sue doti compositive, l'intelligenza nella improvvisazione degli assolo unite alla sua rara capacità di sviluppare la musica in direzioni diverse e sempre nuove, ne hanno fatto uno dei musicisti principali del free Jazz della sua generazione.
