À l’adolescence, Jimmy Williams excellait dans plusieurs disciplines au Collège de la Salle, dont le football, le hockey, le baseball et la crosse. Il a rapidement été embauché par les Dodgers de Brooklyn et a joué pendant 18 saisons dans leur système des filiales (1947 à 1964).
Même s’il n’a jamais reçu l’appel du grand club, Williams était un frappeur redoutable dans les rangs mineurs. À sa première saison avec les Dodgers, le Canadien a porté les couleurs de trois équipes différentes et a cumulé une moyenne au bâton de ,367 et a produit 121 points. Il a connu l’une de ses meilleures saisons en 1955 avec les Royaux de Montréal alors qu’il a terminé la campagne avec une moyenne de ,329 et 13 circuits. En carrière, il a maintenu une moyenne de ,288 et frappé un total de 126 longues balles.
Après sa carrière de joueur, Williams a été le gérant d’équipes affiliées aux Dodgers, aux A’s, aux Astros et aux Orioles pendant 17 ans. Il a également été instructeur avec les Astros en 1975 et à Baltimore de 1981 à 1987. Il était d’ailleurs l’instructeur au premier coussin lors de la conquête de la Série mondiale par les Orioles en 1983.
