Le démelangeage spectral est un domaine de recherche actif qui trouve des applications dans des domaines variés comme la télédétection, le traitement des signaux audio ou la chimie. Dans le contexte des capteurs hyper spectraux, les images acquises sont souvent de faible résolution spatiale, principalement à cause des limites technologiques liées aux capteurs. Ainsi, les pixels sont constitués des mélanges des différentes signatures spectrales des matériaux présents dans la scène observée. Le démélangeage hyperspectral correspond à la procédure inverse permettant d'identifier la présence de ces matériaux ainsi que leur abondance par pixel. Déterminer le nombre total de matériaux dans l'image et par pixel est un problème difficile. Des approches à base de modèle de mélange linéaire ont été développées mais l’hypothèse sous-jacente de linéarité est parfois mise à mal dans des scénarios réels. Le problème est amplifié lorsqu'un même matériel présente une forte variabilité de signatures spectrales. De plus, la présence de nombreuses signatures parasites (ou anomalies) rend l'estimation plus difficile. Ces différents problèmes sont abordés dans cette thèse au travers de solutions théoriques et algorithmiques. La première contribution porte sur un démélangeage non-linéaire parcimonieux basé sur des approches à noyaux (SAGA+), qui estime et enlevé de l'analyse simultanément les anomalies. La deuxième contribution majeure porte sur une méthode de démélangeage supervisée basée sur la théorie du transport optimal (OT-unmixing) et permet d'intégrer la variabilité potentielle des matériaux observés. Un cas d'étude réel, dans le contexte du projet CATUT, et visant l'estimation des températures de surface par imagerie aéroportée, est finalement décrit dans la dernière partie de ce travail.