Estudió Letras e Historia del Arte en la Universidad de Buenos Aires. Autor, junto con Roberto Jacoby y Raúl Escari, del manifiesto Un arte de los medios de comunicación (1966) y del llamado Arte de los medios que incluyó, entre otros trabajos, la difusión hacia los medios de masa de un informe textual y fotográfico de un happening ficticio -Happening para un jabalí difunto- con la intención de evidenciar la fusión entre los momentos de producción y de recepción de la obra. Junto a Jacoby, presenta Poema Ilustrado (1966) en la galería de la Radio Municipal, obra en la que fragmentos del lenguaje oral se presentan como poemas. A su vez, Costa, Jacoby y Juan Risuleo realizan la Primera audición de obras creadas para lenguaje oral en el Instituto Torcuato Di Tella. Al final de los años de 1960, viaja a Nueva York y allí entra en contacto con artistas y poetas como John Perreault, Vito Acconci, Scott Gordon y Hannah Weiner, entre otros, con quienes realiza trabajos en colaboración como Tape Poems (1968), junto con Perreault, y Names of friends. A poem for the Deaf-mute (1969). Son obras que evidencian la confluencia de múltiples lenguajes, en un clima de experimentación y de clara expansión de la práctica artística, como en su Fashion show poetry event (1969), obra-desfile que combinó moda y poesía, con Perreault y Weiner. Al regresar a Buenos Aires, participa del homenaje a Duchamp, en la galería Arte Nuevo en 1977, con su obra Duchamp/Costa Rueda de bicicleta. Al año siguiente, se radica en Río de Janeiro para participar del proyecto Esquenta pro Carnaval, junto con Hélio Oiticica (1979-1980). Desde 1994, desarrolla su proyecto Volumetric Painting, serie de obras que transcienden el plano y el soporte de la pintura tradicional. 

Entre sus últimas exposiciones individuales se incluyen la realizada en la galería GC, Buenos Aires (2011); Galería Ruth Benzacar, Buenos Aires (2008); Galería Faria Fábregas, Caracas (2008), Galería Cecilia de Torres Ltd, Nueva York (2001). Su obra fue incluida en destacadas exposiciones colectivas como: Early conceptualism, Galerie Jan Mot, Bruselas (2008); Arte No Es Vida: Actions by Artists of the Americas, 1960-2000, El Museo del Barrio, Nueva York (2008); Beginning with a Bang! From Confrontation to Intimacy. An Exhibition of Argentine Contemporary Artists 1960-2007,Americas Society, Nueva York (2007); Draw a straight line and follow it, Bard College, Nueva York (2006); Inverted Utopias, The Museum of Fine Arts, Houston (2004); Heterotopías. Medio siglo sin lugar, Museo Nacional Centro de Arte Reina Sofía, Madrid (2000), entre muchas otras.