A los 27 años, Andrew se convirtió en número uno del banco y diversificó su portafolio con inversiones siderúrgicas, navieras y de la construcción. Con el tiempo, fue acumulando fortuna y prestigio. Se estima que Mellon llegó a amasar la friolera de 10 millones de dólares de aquel entonces. En 1921, durante la presidencia de Warren Harding, fue nombrado Secretario del Tesoro, puesto que conservó hasta 1932, cuando su incapacidad para resolver la crisis del 29 erosionó la confianza que se había depositado en él. Sin embargo, más allá de su vida de empresario y funcionario público, Mellon pasó a la posteridad por sus actividades filantrópicas. En 1913, fundó el "Mellon Institute of Industrial Research", en memoria de su padre. Durante la Primera Guerra Mundial, apoyó asociaciones civiles como la Cruz Roja. Buena parte de su fortuna fue utilizada para la financiación de iniciativas educativas y de caridad. Tal vez su obra filantrópica más famosa fue su donación de fondos y pinturas de su colección privada para la fundación de la Galería Nacional de Arte de Washington. Pero no todo era color de rosa. Mientras Mellon apoyaba la creación del museo, agentes del gobierno lo investigaban por evasión fiscal. Hay quienes dicen que el presidente Herbert Hoover (1928-1932) había propiciado el proceso en una suerte de venganza por un antiguo rencor hacia el millonario. Mellon, que falleció en agosto de 1937, no llegó a enterarse de su absolución.
Durante la década del 30, gastó 1 millón de dólares para adquirir la "Alba Madonna" de Rafael Sanzio que ahora se encuentra cómodamente instalada en la galería mencionada. Durante varios años, Mellon se las ingenió para no divulgar donde había obtenido semejante joya. No le faltaban razones: se la compró al gobierno soviético que la lucía en el museo Hermitage de Leningrado. Las razones de tanto mutismo había que buscarlas a dos puntas: Mellon no quería hacer trascender que la compra la había realizado en un país con el que no se mantenían relaciones diplomáticas y Stalin, a la sazón Secretario General del Comité Central del Partido Comunista de todas las Rusias (lo que implicaba el control completo sobre el partido y sobre el país), no tenía interés de informar que vendía esta clase de tesoros para pagar sus deudas internacionales.
La "Virgen de la Casa de Alba" (Alba Madonna) es una pintura al óleo sobre una tabla de forma redonda con un diámetro de 98 centímetros que data de 1511. Esta obra fue un encargo del médico e historiador italiano Paolo Giovio (1483-1552), quien pensaba enviarla a la iglesia de los Olivetanos en Nocera dei Pagani en donde aparece documentada en el año1600. Años más tarde fue cedida al marqués del Carpio, virrey de Nápoles, que la trasladó a España siendo mencionada en el siglo XVIII en la casa madrileña del duque de Alba de donde toma el nombre. En 1836 fue adquirida por Nicolás I de Rusia, quien hizo de ella uno de los platos fuertes del Museo Imperial del Hermitage en San Petersburgo. Un siglo después, Jossif Vissariónovich Dzhugashvili, alias Stalin, mientras se deshacía -física e ideológicamente- de Zinoviev, Kamenev, Bujarin, Rikov, Trotsky y tantos otros genuinos hacedores de la revolución, se la vendió clandestinamente a Mellon, como ya hemos dicho.