Andrew Carnegie fue el hombre que financió el edificio que lleva su nombre. La construcción comenzó en 1890, y fue llevada a cabo por Isaac A. Hopper y Compañía. Aunque el edificio estaba en uso desde Abril de 1891, la inauguración oficial fue la noche del 5 de Mayo, con un concierto conducido por Peter Ilych Tchaikovsky. El trabajo en la construcción continuó hasta 1897.

La sala fue propiedad de la familia Carnegie hasta 1921 cuando la viuda de Carnegie la vendió al desarrollador de bienes raíces, Robert E. Simon. Cuando Simon murió el inmueble pasó a manos de su hijo Robert E. Simon. No funcionó la manera en la que lo administraba así que lo ofreció a la Orquesta Filarmónica de Nueva York. Rechazaron la oferta ya que se iban a mudar de sede al Lincoln Center. Para 1960, con la Orquesta Filarmónica de Nueva York en el Lincoln Center, había planes de demoler el edificio y reemplazarlo por un edificio comercial, así que Simon vendió el edificio. Terminó usando ese dinero para fundar la ciudad de Reston en Virginia. Bajo la presión de un grupo lidereado por Isaac Stern, la ciudad de Nueva York compró el lugar en 1960 por cinco millones de dólares y lo alquiló a una corporación sin fines de lucro. Fue declarado monumento histórico en 1964, fue renovado en 1983 y 1995 por James Polshek, mejor conocido por su planetario posmodernista en el Museo Americano de Historia Natural.

A pesar del estatus de monumento histórico del Carnegie Hall, planes para construir un edificio comercial no han sido descartados. En 1987-1989 una torre de oficinas de 60 pisos llamada Torre Carnegie Hall fue terminada al lado del inmueble en la misma cuadra. En Junio del 2003 se hicieron planes para que la Filarmónica regresara al Carnegie Hall, comenzando en el 2006, sin embargo éstos fueron descartados a finales del 2003.