Происходил он из старинного дворянского рода. Отец Алябьева дал сыну хорошее воспитание. Во время походов 1812-1815 годов будущий автор знаменитого романтического "Соловья" служил в гусарах. В 1823 году он был уволен в отставку в звании подполковника. К этому времени уже появились его первые романсы: "Вечерком румяну зорю", "Соловей" на слова Дельвига. Еще раньше он написал музыку к водевилю "Новая шалость, или Театральное сражение". В Москве были поставлены его комическая опера "Лунная ночь, или Домовые", водевиль "Деревенский философ", балет "Волшебный барабан".
В середине 1825 года Алябьев был арестован по обвинению в убийстве помещика Времева, лишен "знаков отличия, чинов и дворянства" и сослан в Сибирь. Через некоторое время Алябьев был помилован, но ему запретили въезжать в столицы. Под впечатлением поездки на Кавказ были написаны оперы "Аммалат-Бек" и "Кавказский пленник". Алябьев - первый русский композитор, собиравший на Кавказе национальные мелодии.
С начала 1838 года композитору разрешили посещать Москву, однако Алябьев жил там безвыездно, что повлекло новую ссылку - в Коломну. С лета 1843 года композитор смог проживать в Первопрестольной "под присмотром полиции". Он снова вошел в театральную среду, познакомился с Даргомыжским. Вскоре в Большом театре были поставлены на музыку Алябьева комедия Шекспира "Виндзорские кумушки" и драма Пушкина "Русалка". Популярность его романсов была очень велика. "Соловья" распевали всюду. На него писались вариации - Глинкой для фортепьяно, Лист сделал на эту же мелодию транскрипцию. Инструментальная музыка Алябьева представлена произведениями для симфонического и духового оркестров.
Умер композитор в 1851 году в Москве, где в 1962 году его именем была названа улица.