Seu primeiro trabalho de sucesso foi em "Sem Destino" (1969), estrelado por Peter Fonda e Dennis Hopper. No filme, Nicholson faz o papel do advogado beberrão George Hanson, pelo qual recebeu sua primeira indicação ao Oscar. Uma indicação para Melhor Ator veio no ano seguinte, por seu papel em "Cada Um Vive como Quer" (1970), que inclui seu famoso diálogo com uma salada de frango sobre obter o que se quer.

Outros filmes pelos quais ele é famoso incluem "A Última Missão", de Hal Ashby (1973), "Chinatown", de Roman Polanski (1974), "Um Estranho no Ninho", de Milos Forman (1975), pelo qual recebeu seu primeiro Oscar, e "O Iluminado", de Stanley Kubrick. Nicholson ganhou um prêmio da Academia por Melhor Ator Coadjuvante por seu papel em "Laços de Ternura" (1983). O "Batman" de 1989, onde Nicholson fez o papel do supervilão Coringa, foi um êxito internacional, e um contrato de porcentagem nos lucros deu a Nicholson cerca de 50 milhões de dólares.

Por seu papel como o impetuoso coronel Nathan R. Jessep, em "Questão de Honra" (1992), um filme sombrio sobre um assassinato em uma unidade dos fuzileiros navais dos EUA, ele recebeu outra indicação pela Academia. Este filme contém a cena de Nicholson onde ele diz "você não pode manipular a verdade!", que desde então se tornou amplamente conhecida e imitada. Nicholson iria ganhar seu Oscar seguinte por seu papel como o neurótico no romântico "Melhor É Impossível" (1997).