Александр Зархи родился в Петербурге. Закончил в 1927 году Ленинградский техникум экранного искусства, через год поступил на киноотделение Ленинградского Пролеткульта. Творческую деятельность режиссер начал в 1929 году на ленинградской кинофабрике "Совкино" (ныне "Ленфильм"), где вместе с Хейфицем организовал молодежное объединение "Первая комсомольская постановочная бригада". В содружестве с Хейфицем дебютировал как режиссер агитационной кинодрамой "Ветер в лицо".
Широкая известность пришла к Зархи и Хейфицу в 1935 году, после выхода на экран комедии "Горячие денечки". Однако первым подлинным шедевром этого творческого союза был признан фильм "Депутат Балтики", который получил гран-при Международной выставки в Париже в 1937 году. Далее последовали не менее известные фильмы режиссера "Член правительства", "Его зовут Сухэ-Батор". С 1952 года Зархи переходит к индивидуальной режиссуре. В 50-х годах его крупнейшим успехом становится фильм "Высота", получивший главный приз Международного кинофестиваля в Карловых Варах. В 1967 Зархи поставил фильм "Анна Каренина", который, при всех его недостатках и спорных трактовках, и по сей день является лучшим кинематографическим прочтением знаменитого романа. По итогам киносезона 1968 года картина стала одним из лидеров всесоюзного проката, собрав свыше 40 млн зрителей.
На заключительном этапе своей режиссерской карьеры Зархи обратился к жанру биографического фильма, сделав героями своих картин писателя Достоевского и дипломата Чичерина.
Главным приемом Зархи была ставка на актерский талант. Сам кинодраматург говорил, что "мои картины скорее подтверждают точность выбора актера". Поэтому на главные роли он приглашал таких звезд советского кино как Татьяна Самойлова, Николай Черкасов, Николай Рыбников, Вера Марецкая и многие другие.
До последних дней жизни Александр Зархи был консультантом по творческим вопросам при руководстве "Мосфильма". Преданно служивший своему делу мастер, народный артист СССР, лауреат Государственных премий, Герой Социалистического Труда, он был отмечен многими высокими наградами страны.