W latach 1932-36 studiował teorię muzyki i kompozycję (dyplom z odznaczeniem) u Kazimierza Sikorskiego w Konserwatorium Warszawskim. W latach 1937-38 odbył studia dyrygenckie pod kierunkiem Feliksa Weingartnera w Wiedniu, które kontynuował - od 1938 do 1939 - w Paryżu u Philippe'a Gauberta. Wojnę i okupację spędził w Warszawie, gdzie brał udział w legalnych i nielegalnych koncertach w charakterze pianisty (również w duecie fortepianowym z Witoldem Lutosławskim). Po wojnie, w latach 1945-46, był dyrygentem Orkiestry Filharmonii Krakowskiej, zaś w latach 1946-47 objął funkcję dyrektora Filharmonii Warszawskiej. Dyrygował gościnnie w Niemczech (z Berliner Philharmoniker), Francji (z paryską l'Orchestre National) i Anglii (z London Philharmonic Orchestra). W 1950 został wybrany wiceprzewodniczącym Międzynarodowej Rady Muzycznej UNESCO. W 1953 przewodniczył oficjalnej polskiej delegacji kulturalnej do Chin, gdzie przyjęty został osobiście przez przewodniczącego Mao Zedonga.
W okresie powojennym zdobył wiele nagród na konkursach kompozytorskich w Polsce i za granicą: w 1947 otrzymał I nagrodę na Konkursie Kompozytorskim im. Karola Szymanowskiego w Krakowie za "Nokturn" na orkiestrę (1947), w 1948 - Nagrodę miasta Krakowa za "Kołysankę" na 29 instrumentów smyczkowych i 2 harfy (1947), w 1949 - I nagrodę na Konkursie Kompozytorskim im. Fryderyka Chopina w Warszawie za utwór "Sinfonia rustica" na 8 instrumentów dętych i dwie orkiestry smyczkowe (1948), w 1952 - I nagrodę na Przedolimpijskim Konkursie Kompozytorskim zorganizowanym z okazji Igrzysk Olimpijskich w Helsinkach za "Uwerturę bohaterską" na orkiestrę (1951-52). W 1949 otrzymał najważniejsze odznaczenie państwowe PRL - Sztandar Pracy I klasy, zaś w 1951 i 1952 został laureatem Nagrody Państwowej II stopnia.
Nie mogąc pogodzić się z narzuconymi przez komunistów ograniczeniami swobód twórczych, Andrzej Panufnik w 1954 opuścił Polskę. Wówczas władze PRL wydały zakaz cenzuralny wykonywania i wydawania utworów Panufnika, a także wymieniania jego nazwiska we wszelkich publikacjach, audycjach radiowych i telewizyjnych. Kompozytor osiadł na stałe w Anglii, gdzie kontynuował karierę dyrygencką (m.in. w latach 1957-59 piastował stanowisko dyrektora muzycznego i dyrygenta City of Birmingham Symphony Orchestra), by później całkowicie poświęcić się pracy twórczej. Dwukrotnie został nagrodzony Prix de Composition Musicale Prince Pierre de Monaco: w 1963 - za "Sinfonia sacra" na orkiestrę (1963) i w 1983 - za całokształt twórczości. W 1965 otrzymał w Londynie Sibelius Centenary Medal for Composition (Medal za kompozycję z okazji setnej rocznicy urodzin Jana Sibeliusa). W 1966 w Stanach Zjednoczonych został wybrany Rycerzem Stowarzyszenia im. Marka Twaina.
W 1977 Zarząd Główny Związku Kompozytorów Polskich dokonał w wydziale kultury KC PZPR zwolnienia cenzuralnego zakazu dotyczącego Panufnika i jego muzyki. W tym samym roku, podczas Międzynarodowego Festiwalu Muzyki Współczesnej "Warszawska Jesień", odbyły się pierwsze wykonania w Polsce jego utworów, m.in. kantaty "Universal Prayer" na 4 głosy solowe, 3 harfy, organy i chór mieszany (1968-69), wokalizy "Dreamscape" na mezzosopran i fortepian (1976-77), "Sinfonia mistica" na orkiestrę (1977).
W 1984 został członkiem honorowym Royal Academy of Music w Londynie, zaś w 1987 - członkiem honorowym Związku Kompozytorów Polskich (z którego usunięto go w 1954). W tym samym roku wydał w Anglii autobiografię zatytułowaną "Composing Myself". (W 1990 ukazał się w Polsce autoryzowany przekład Marty Glińskiej pod tytułem "Andrzej Panufnik o sobie", wydany w Warszawie przez Niezależną Oficynę Wydawniczą.) W 1990 otrzymał Nagrodę Ministra Spraw Zagranicznych Rzeczypospolitej Polskiej za zasługi dla kultury polskiej. Tego samego roku, po 36 latach nieobecności w kraju, odwiedził Polskę na zaproszenie Festiwalu "Warszawska Jesień", podczas którego wykonano jedenaście jego utworów, w tym trzy - "Symfonia nr 10" na orkiestrę (1988), "Harmony, a poem for chamber orchestra" (1989) oraz "Koncert skrzypcowy" (1971) - pod jego batutą.
W 1991 królowa brytyjska Elżbieta II nadała Andrzejowi Panufnikowi tytuł szlachecki (Sir). W tym samym roku otrzymał doktorat honoris causa Akademii Muzycznej w Warszawie. Andrzej Panufnik został pośmiertnie odznaczony Orderem Polonia Restituta.
