A los 15 años formó su primer grupo, DC Tones y en el año 1968 explotó en solitario las listas con "I Heard It Through the Grapevine" colocándose en el número uno de las listas de R&B y pop y logrando vender más de 4 millones de copias del sencillo; el mayor éxito de ventas de Motown en la década de los 60. Sin embargo, a partir de este momento Gaye comienza a distanciarse en el ámbito artístico de los productores de la Motown y siguiendo la tendencia que se manifiesta en la música popular de aquellos años de incorporar a las letras temáticas sociales y políticas, graba en 1971 el que a la postre será considerado su mejor álbum, What's Going On, con elementos del jazz y la música clásica y en el que aborda la protección del medio ambiente, la corrupción política, el abuso de las drogas y la guerra de Vietnam inspirado por su hermano Frankie Gay que acababa de regresar del frente.
Una vez publicado alcanza rápidamente los puestos primero y segundo en las listas de soul y pop y ante el éxito. En 1973 graba Let's Get It On, un álbum impregnado de sensualidad que tiene buena acogida entre el público y el mismo año graba con Diana Ross Marvin y Diana. Ya en solitario y al tiempo que termina su matrimonio publica I Want You. Tras su divorcio de Anna Gordy, es condenado en 1976 por un tribunal por el impago de la pensión alimenticia, viéndose obligado a trabajar en un nuevo disco; el resultado es Here, My Dear un álbum tan personal que Anna Gordy considera incluso la posibilidad de demandarle por invadir su privacidad.
Tras firmar con Columbia Records en 1982 compuso Midnight Love al tiempo que intentaba sobreponerse de su adicción a la cocaína; una de sus canciones, Sexual Healing, es una de las más famosas de Gaye. A pesar del resurgir de su carrera y su reencuentro con la fama, se hundió aún más en las drogas de las que intentó aislarse buscando refugio en casa de sus padres. Sin embargo, durante el tiempo que pasó allí en varias ocasiones intentó suicidarse después de mantener agrias discusiones con su padre. Finalmente, el 1 de abril de 1984, la víspera de su 45 cumpleaños, en el transcurso de una de esas discusiones su padre lo mató de un disparo, hecho que sería calificado como «homicidio justificable», con un arma que el propio Marvin le había dado cuatro meses antes. Su padre falleció en 1998 de un ataque al corazón.
Mercy, Mercy Me
