Haitink ist der Sohn von Willem und Anna Haitink. Willem Haitink war ein Beamter, der schließlich als Leiter eines Elektrizitätswerks tätig war. Während der deutschen Besatzung wurde sein Vater wegen eines Anschlages für mehrere Monate in einem deutschen Konzentrationslager in Geiselhaft genommen. Bernard Haitink studierte in seiner Geburtsstadt am Konservatorium. Danach spielte er als Violinist in einer Reihe von Orchestern. 1954 und 1955 lernte er unter der Anleitung Ferdinand Leitners zu dirigieren. 1955 wurde er Zweiter Dirigent des Radio Filharmonisch Orkest (Niederländisches Radioorchester). 1956 war er für Carlo Maria Giulini beim Concertgebouw-Orchester eingesprungen, erhielt fortan zunächst einige Einladungen und führte das Orchester dann auf einer England-Tournee 1959. Nach dem plötzlichen Tod von Eduard van Beinum 1959 übertrug man Haitink das Amt des ersten Dirigenten. Internationalen Ruf erwarb sich Haitink 1961, als er zusammen mit Eugen Jochum zum gemeinsamen Chefdirigenten des Concertgebouw-Orchesters bestellt wurde. 1964, als Jochum das Amt aufgab, wurde er dessen alleiniger Chefdirigent und Künstlerischer Leiter. 1967 wurde er zum Ersten Dirigenten des London Philharmonic Orchestra ernannt, das er bis 1979 leitete. Zwischen 1978 und 1988 war Haitink musikalischer Leiter des Opernfestivals in Glyndebourne. Sein Vertrag mit dem Concertgebouw-Orchester wurde 1988 nicht mehr verlängert, was Haitink dem Orchester verübelte und daraufhin knapp fünf Jahre nicht mehr mit diesem auftrat.1999 ernannte ihn das Orchester aber zum Ehrendirigenten. Von 1977 bis 1987 dirigierte Haitink jede Weihnachten das Concertgebouw-Orchester in den Kerstmatinees (Weihnachts-Matinees). Es wurden nur Werke von Gustav Mahler gespielt und die Konzerte international in der Eurovision übertragen.
Zwischen 1987 und 1998 hatte Haitink die musikalische Leitung des Royal Opera House in London inne, von 1995 bis 2004 war er außerdem erster Gastdirigent des Boston Symphony Orchestra. 2002 übernahm er den Posten des Chefdirigenten bei der Staatskapelle Dresden. Aufgrund von vermeintlichen Unstimmigkeiten bei der Wahl seines Nachfolgers gab Haitink seinen Posten 2004 vorzeitig auf.
2006 ernannte das Chicago Symphony Orchestra Haitink zum Ersten Dirigenten, weil das Amt des Musikdirektors seit Daniel Barenboims Rückzug in diesem Jahr nicht mehr besetzt war. Im Jahr 2008 erarbeitete er mit dem Chamber Orchestra of Europe exklusiv für das Lucerne Festival einen Beethoven-Zyklus auf der Grundlage der neuen Kritischen Gesamtausgabe, 2010/2011 am selben Ort mit gleichem Klangkörper einen Zyklus mit den Orchesterwerken von Brahms. Haitink war seit 1956 mit Marjolein Snijder verheiratet, mit der er drei Töchter und zwei Söhne hat. Seit 1994 ist er in zweiter Ehe mit Patricia Bloomfield verheiratet. Haitink lebt heute zusammen mit seiner Frau Patricia in Kastanienbaum LU am Vierwaldstättersee.