Albert Speer studierte nach einer Schreinerlehre Architektur an der Technischen Hochschule München, der heutigen TU München. Von 1972 bis 1997 lehrte er an der Universität Kaiserslautern Stadt- und Regionalplanung. An der ETH Zürich hatte er eine Gastprofessur inne. 1964 machte er sich als Stadtplaner und Architekt in Frankfurt selbstständig. Bis zu seinem Tod war er wichtiger Berater und Impulsgeber in dem von ihm gegründeten Architekturbüro Albert Speer & Partner (AS&P).
Zu seinen bedeutendsten Projekten zählen die Masterpläne für mehrere neue Städte in China, für die EXPO 2000 in Hannover und die Fußballweltmeisterschaft 2022 in Katar. Er entwarf unter anderem die Diplomatenstadt im saudi-arabischen Riad und Planungen für die Innenstadt der nigerianischen Hauptstadt Abuja. In Deutschland entwickelte er den Masterplan für die Innenstadt von Köln und die Denkschrift „Frankfurt für alle“ als strategische Stadtentwicklungsstudie mit dem Zielhorizont 2030.
Albert Speer hat sein Wirken von Beginn an international ausgerichtet. 2007 gründete AS&P eine Tochtergesellschaft in Shanghai. Um die Wissenschaft hat sich Speer nicht zuletzt durch die Gründung der Professor Albert Speer-Stiftung verdient gemacht, die den akademischen Nachwuchs im Bereich Architektur und Planung fördert.
Die Technische Universität München (TUM) hat Prof. Albert Speer 2011 als TUM Distinguished Affiliated Professor ausgezeichnet. Der Alumnus der TUM zählte zu den bedeutendsten Stadtplanern und Architekten der Gegenwart. Den Ehrentitel verleiht die TU München an international renommierte Wissenschaftlerinnen und Wissenschaftler, die zur Spitze in ihrem Fachgebiet gehören. Prof. Speer hatte sich vornehmlich im Masterstudiengang Urbanistik als Mentor, Betreuer und Kritiker engagiert.