Taylor fu scelto dai Packers nel corso del secondo giro del Draft NFL 1958, con la chiamata numero 15[3]. Jim detiene diversi record dei Packers, incluso il maggior numero di touchdown segnati in una stagione e in carriera. Fu anche il leader di tutti i tempi dei Packers per yard corse in carriera prima di essere superato da Ahman Green l'8 novembre 2009. Taylor guidò la NFL in yard corse nel 1962, l'unica stagione in cui Jim Brown non guidò la lega nei suoi nove anni di carriera. Le 1.474 yard corse da Taylor non furono superate da un giocatore di Green Bay fino a quando lo stesso Ahman Green ne corse 1.883 nel 2003 (in una stagione da 16 partite però, contro le 14 del 1962). Al momento del ritiro, gli 83 touchdown su corsa di Taylor erano secondi solo a Jim Brown.
Taylor vinse quattro titoli NFL coi Packers (1961, 1962, 1965, and 1966), dove formava un reparto da sogno con l'halfback, anch'egli futuro membro della Hall of Fame, Paul Hornung. Nella vittoria dei Packers per 16-7 sui New York Giants nella finale del 1962, Taylor stabilì il record delle finali con 31 portate (per 85 yard) e segnò l'unico touchdown della gara per Green Bay. Nella vittoria nella finale del 1965, Taylor corse altre 97 yars. Nel gennaio 1967, Taylor e i Packers disputarono il Super Bowl I, vinto facilmente coi Kansas City Chiefs[4]. Taylor fu il miglior corridore della gara con 56 yard e un touchdown (il suo fu il primo touchdown su corsa della storia del Super Bowl).
Malgrado non fosse dotato di grossa stazza, Taylor era un fullback fisico che vinse spesso dei leggendari duelli col linebackerSam Huff. Fu convocato per 5 Pro Bowl consecutive nel periodo 1960-64 e in carriera commise solo 34 fumble su 2.173 tocchi (1,56 %).
Tayler si ritirò dopo aver passato l'ultima stagione della carriera, quella del 1967, coi New Orleans Saints. Fu il primo running back della storia a superare le mille yard corse per 5 stagioni consecutive.