Джеймс Ганн родился в городе Сент-Луисе, штат Миссури, часть детства режиссёра прошла в городе Манчестер (англ.)русск. того же штата. У Джеймса есть четверо братьев и сестра. Шон Ганн, который стал актёром; Мэтт Ганн, который стал актёром и сценаристом; Брайан, который является сценаристом и продюсером; Патрик, также работающий в сфере кино и медиа, который в прошлом был вице-президентом студии «Artisan Entertainment»; и сестра Бет, судебный адвокат в Лос-Анджелесе. Их родители — Леота и Джеймс Ф. Ганн, который является адвокатом. Ганн заявляет, что его фамилия происходит от ирландской фамилии Макгилганн, что означает «сыновья в слуги бога мёртвых»