С течением времени менялся и общая идея экспозиции. В 1930-х годах основной темой была реконструкция Москвы по Генеральному плану 1935 года. С 1947 по 1970 годы экспозиция была построена по исторически-хронологическому принципу. Ныне из-за нехватки экспозиционных площадей периодически устраиваются тематические выставки.
Первооснову музейного собрания составили материалы павильона Мосгордумы на Всероссийской художественно-промышленной выставке 1896 года. Постепенно музейный фонд возрастал, и сегодня в собрании музея свыше 1 млн единиц хранения. Это и богатые археологические коллекции, и фонд изобразительных материалов, представленный серией картин Аполлинария Васнецова "Старая Москва", произведениями Ивана Айвазовского, Владимира Маковского, Василия Поленова, Василия Сурикова, Михаила Нестерова и других, и коллекция открыток с видами Москвы.
Среди экспонатов документально-исторического фонда - коллекции планов, путеводителей и справочников по Москве, редких, в том числе и рукописных, книг, плакатов и афиш.
Научная библиотека музея содержит свыше 60 тыс книг по истории Москвы, 50 тыс экземпляров газет и журналов.
Помимо чисто теоретической деятельности, музей ведет активные практические разработки. Так, с 1946 года сотрудники музея проводят археологические исследования Москвы, организуют историко-бытовые экспедиции, курируют работу Клуба юных археологов.
