Родился 31 января 1953 года в Ленинграде (ныне Санкт-Петербург) в семье служащих. Окончил переводческое отделение филологического факультета Ленинградского государственного университета, Высшие курсы КГБ в Минске в 1976 году, 101-ю школу Первого главного управления КГБ (ныне Краснознаменный институт имени Андропова) в 1981 году. С 1976 года - служба в КГБ СССР.
После окончания Высших курсов КГБ в Минске был направлен на работу в Управление госбезопасности Лениграда и области. С конца 1970-х годов - в центральном аппарате Первого главного управления КГБ (внешняя разведка). Всего в системе Службы внешней разведки работал два десятилетия, занимал различные должности в центральном аппарате и за границей (Африка, Европа); в СВР был заместителем начальника одного из управлений. В середине 1990-х годов стал одним из самых молодых в СВР генералов.
С августа 1998 года - заместитель директора Федеральной службы безопасности РФ - начальник Департамента анализа, прогноза и стратегического планирования ФСБ России. С 15 ноября 1999 по 28 марта 2001 года - секретарь Совета Безопасности РФ. Вновь был назначен на эту должность Указом Президента РФ Владимира Путина 27 мая 2000 года. С 28 марта 2001 года - министр обороны РФ.
С 24 февраля 2004 года после отставки правительства исполнял обязанности министра обороны. 9 марта 2004 года вновь назначен министром обороны РФ. Председатель Совета министров обороны стран СНГ (избран 17 мая 2001 года на очередном заседании Совета министров обороны стран-участниц СНГ).
9 ноября 2000 года Президент Владимир Путин подписал Указ об увольнении секретаря Совета Безопасности РФ с военной службы в звании генерал-лейтенанта (звание присвоено в 1999 году).
Сергей Иванов занимал пост секретаря СБ и должность министра обороны РФ как гражданский человек. В совершенстве владеет английским и шведским языками.
Награжден орденом "За заслуги перед Отечеством" II степени (31 января 2003 года) "за большой личный вклад в укрепление обороноспособности и безопасности государства"; казахским орденом "Достык" ("Дружба") (2005).
Женат, жена по образованию экономист, имеют двоих сыновей. В свободное время любит рыбачить и бродить по лесу. С удовольствием читает интеллектуальные детективы на языке оригинала.