Im November 1954 stirbt Furtwängler. Ihm folgt jener Mann, der so lang wie kein anderer als künstlerischer Leiter mit dem Ensemble verbunden bleiben wird: Herbert von Karajan. Er erarbeitet mit dem Orchester eine spezifische Klangkultur, eine Perfektion und Virtuosität, die es in dieser Form bislang nicht gegeben hat und die eine Grundlage bilden für den nationalen wie internationalen Siegeszug des Ensembles – im Konzert wie mit ungezählten Schallplattenaufnahmen.
Darüber hinaus versteht es Karajan, im Orchesterumfeld wesentliche Neuerungen umzusetzen: 1967 werden die Osterfestspiele Salzburg ins Leben gerufen, mit denen die Philharmoniker ihr eigenes international bedeutendes Festival ausrichten und sich auch als Opernorchester profilieren. Eine weitere Initiative ist die Orchester-Akademie der Berliner Philharmoniker, mit der in praxisnahem Unterricht begabte Nachwuchsmusiker auf die hohen Anforderungen eines Spitzenorchesters vorbereitet werden.
In die Ära Karajan fällt auch der Bau der neuen Philharmonie: Seit Oktober 1963 residiert das Orchester in dem von Hans Scharoun entworfenen Konzertsaal, der 1987 um einen Kammermusiksaal erweitert wird.
