Seu filme mais famoso, O Inimigo Público Número Um (The Public Enemy, 1931), custou 150 mil dólares ao estúdio e foi filmado em 26 dias, tendo arrecadado mais de um milhão de dólares em bilheteria. Era o filme mais cruel que o público já havia visto. Cagney, um novato, conquistou o sucesso da noite para o dia. Conforme um historiador, cometeu o ato mais violento da história do cinema, ao esfregar um grapefruit no rosto da estrela. Logo os filmes de gangster começaram a ser atacados por organizações de todo o país, que afirmavam eles serem de má influência para a sociedade. Embora esses filmes o tivessem feito um astro, Cagney parecia concordar, ao afirmar que estava cansado de andar armado e espancar mulheres. Mas Hollywood só o premiaria com um Oscar dez anos depois.

Cagney foi aviador, jornalista, fotógrafo, chofer de táxi e caminhão, boxeador, automobilista, cowboy, ferroviário, produtor e ator de teatro, dentista, oficial da marinha, executivo da Coca-Cola e policial. Em 1976, o ator publicou a autobiografia, Cagney by Cagney, para desmentir outras três lançadas sem sua autorização. Famoso pela frase All right, you guys, jamais a mencionou em seus filmes. Nem you dirt old rat, repetida por Sammy Davis Jr. numa gravação, Because of You, onde o cantor satirizou diversos artistas do cinema. Após um intervalo de 20 anos, Cagney voltaria a aparecer no cinema, pela última vez, em No Tempo do Ragtime, uma produção de Milos Forman em 1981. Em 1984, fez O Terrível Joe Moran (Terrible Joe Moran), telefilme. James Cagney faleceu aos 86 anos, em 30 de março de 1986.