Перед гражданами Советского Союза был поставлен вопрос: "Считаете ли Вы необходимым сохранение Союза Советских Социалистических Республик как обновленной федерации равноправных суверенных республик, в которой будут в полной мере гарантироваться права и свободы человека любой национальности?".
Референдум по этому вопросу проводился в РСФСР, Украинской ССР, Белорусской ССР, Узбекской ССР, Азербайджанской ССР, Киргизской ССР, Таджикской ССР, Туркменской ССР, в республиках, входящих в состав РСФСР, Узбекской ССР и Азербайджанской ССР, в Абхазской АССР, входящей в состав Грузинской ССР, а также в округах и на участках, образованных при советских учреждениях и в воинских частях за границей.
В Казахской ССР голосование на референдуме СССР проводилось по вопросу, сформулированному Верховным Советом республики: "Считаете ли вы необходимым сохранение Союза ССР как Союза равноправных суверенных государств". При этом Президиум Верховного Совета Казахской ССР официально просил включить результаты голосования в общие итоги референдума СССР.
В шести союзных республиках (Литва, Эстония, Латвия, Грузия, Молдавия, Армения), которые ранее объявили о независимости или о переходе к независимости, всесоюзный референдум фактически не проводился. Властями этих республик не были сформированы Центральные избирательные комиссии референдума, но часть граждан, проживающих на территории этих республик, все же смогла проголосовать. Ряд местных Советов народных депутатов, трудовые коллективы и общественные объединения на предприятиях, в учреждениях и организациях, а также командование воинских частей, руководствуясь пунктами 3 и 5 постановления Верховного Совета СССР "О ходе выполнения постановления Верховного Совета СССР об организации и мерах по обеспечению проведения референдума СССР 17 марта 1991 года", самостоятельно образовали округа и участки, окружные и участковые комиссии, зарегистрированные Центральной комиссией референдума СССР. Референдум также состоялся в Абхазии, Южной Осетии, Приднестровье и Гагаузии.
Центральная комиссия референдума СССР установила, что абсолютное большинство граждан высказались за сохранение союзного государства в обновленном виде.
