Sở hữu cái chân trái chết người mà nhờ nó ông có biệt danh "Pháo thủ", Jack Rowley đã liên tục nổ súng để đem về những vinh quang cho Manchester United vào những năm sau Chiến tranh Thế giới thứ hai, khi mà kế hoạch vĩ đại của Sir Matt Busby bắt đầu có được những kết quả đầu tiên.
Ở thời kì đỉnh cao của mình, Jack - cũng như em trai ông, huyền thoại Arthur Rowley - là một trong những tiền đạo đáng sợ nhất nước Anh, luôn chơi tuyệt vời ở dưới mặt đất cũng như trong lúc không chiến.
Rowley gia nhập đoàn quân áo đỏ thành Manchester với giá 3.000 bảng Anh sau một thời gian ngắn chơi cho đội bóng quê nhà Bournemouth & Boscombe Athletic và gây được ấn tượng mạnh mẽ với 10 bàn thắng sau có 11 lần ra sân. Ở mùa bóng trọn vẹn đầu tiên cùng United (1938-1939), ông đã giúp CLB giành ngôi á quân Second Division và trở lại với giải đấu cao nhất nước Anh lần đầu tiên kể từ năm 1931.
Tháng 09/1939, Chiến tranh Thế giới thứ hai bùng nổ. Tất cả các giải đấu bóng đá đều bị đình hoãn. Jack Rowley khi đó đầu quân cho Trung đoàn Bộ binh Nam Staffordshire. Ông tham gia cuộc đổ bộ của quân Đồng minh lên vùng Normandy (miền Bắc nước Pháp) năm 1944, và chơi một vài trận cho Wolves, Aldershot, Folkestone, Shrewsbury Town, Belfast Distillery và Tottenham Hotspur - với tư cách khách mời.
Khi hệ thống các giải thi đấu của bóng đá Anh trở lại vào năm 1946, Jack trở về Man Utd. Ông là trụ cột của đội hình giành Cúp FA năm 1948, lập cú đúp trong trận thắng 4-2 trước Blackpool ở chung kết, là một phần của "Bộ ngũ lừng danh" trên hàng công của CLB thời bấy giờ. Năm 1952, Jack Rowley đã ghi được ba mươi bàn thắng tại First Division và giúp Manchester United giành chức VĐQG lần đầu tiên kể từ năm 1911.
Sau khi có được 503 lần ra sân và 312 bàn thắng cho CLB - cùng với sáu bàn thắng trong sáu lần khoác áo ĐTQG Anh - Jack Rowley chuyển sang Plymouth Argyle với tư cách HLV kiêm cầu thủ vào năm 1955. Hai năm sau, ông tuyên bố giã từ sân cỏ. Tới tháng 12-1969 ông bỏ nghề HLV để chuyển sang quản lí một chi nhánh bưu điện - đồng thời là một đại lí báo chí - ở quận Shaw, vùng Oldham.