Fondatore del Musée Fabre a Montpellier, museo che nacque quando l'artista, al momento della morte, donò la sua collezione alla città. Pittore prevalentemente di soggetti storici e ritratti, François Xavier Fabre lavorò a Montpellier e a Firenze, quando la Francia si trovava nel subbuglio della Rivoluzione. In questo periodo divenne membro e insegnante all'Accademia di Firenze, ricevendo commissioni dall'alta società e da turisti aristocratici.
Uno di questi mecenati fu il drammaturgo Vittorio Alfieri (1749-1803). Alla morte di Alfieri, nel 1803, la moglie Luisa di Stolber-Gedern, contessa d'Albany (1752-1824), divenne sua compagna. Potrebbero anche essersi sposati, dato che Fabre ereditò la fortuna della donna quando questa morì, rientrando a Montpellier per fondare la sua scuola d'arte. Agli Uffizi sono esposti i ritratti di Alfieri e della contessa, a rappresentare il suo stile elegante e la precisione realistica.
Prima di concentrarsi interamente sui ritratti, Fabre dipinse soggetti religiosi, tra cui i noti San Sebastiano morente, e La morte di Narciso. Il suo apprendistato come pittore fu inizialmente supportato dal collezionista Philippe-Laurent de Joubert. Molti dei suoi ritratti della famiglia Joubert sono ora esposti alla Getty Museum di Los Angeles. Il suo maestro più importante fu Jacques-Louis David (1728-1825), importante pittore neoclassico. Nel 1787, Fabre fu il secondo pupillo di David a vincere il Prix de Rome, premio dell'Accademia reale di Francia, mentre il suo maestro aveva partecipato, senza vincere, per tre volte di seguito.