Ludwig Mies, como era originalmente conhecido, trabalhou como construtor, e de 1900 a 1904 trabalhou como desenhista de ornamentos de estuque para um escritório de arquitetura local em Aachen.

Em 1905 foi para Berlim e trabalhou na vila de Rixdorf para mobiliar a câmera do conselho. Também trabalhou para Bruno Paul até 1907 – ano em que desenhou o seu primeiro edifício.

De 1908 a 1910, Mies foi trabalhar para o estúdio de Peter Behrens, onde fez designs para a AEG e para a embaixada da Alemanha em Sampetersburgo. Neste escritório trabalhou com Walter Gropius, Hannes Meyer e Le Corbusier.

Mies viria a se tornar o criador do Estilo Internacional. Em 1913 retornou a Berlim e abriu seu próprio escritório de arquitetura. De 1914 a 1915 serviu ao exército.

O sobrenome “van der Rohe” é acrescentado m 1921, sendo este o sobrenome de solteira de sua mãe.

Em 1923 uniu-se ao Bond deutscher Architekten (BdA) e em 1924 co-fundou a organização de arquitetos Der Ring (Zwölferring ou Zehnerring). Uniu-se ao Deutscher Werkbund, do qual foi vice-presidente de 1926 a 1932 e entre 1923 e 1924 foi editor do periódico G (Gestaltung).

Mies foi o último diretor da Bauhaus em Dessau, fechada pelos nazistas, que foi transferida para Berlim, onde só ficou aberta mais seis meses.

Fez algumas viagens para os Estados Unidos e por fim emigra para Chicago em 1938, onde torna-se diretor de arquitetura no Armour Institute of Technology.

Parou de produzir móveis após romper sua curta sociedade com Lilly Reich em cerca de 1939.

Faleceu em Chicago em 1969.