گاندولفینی در وست وود نیوجرسی به دنیا آمد، مادر وی سانتا در آمریکا به دنیا آمد ولی در ناپل ایتالیا بزرگ شد، پدر او کارگر بنایی ساختمان در شهر بومی بورگاتارو ایتالیا بود که بعدها بعد از مهاجرت نگهبان یک مدرسه کاتولیکی در نیوجرسی شد، او همچنین دارنده مدال قلب ارغوانی در جنگ جهانی دوم است. پدر و مادر گاندولفینی از کاتولیکهای رومی هستند و در خانه به زبان ایتالیایی صحبت می‌کردند برای همین جیمز خود را یک ایتالیایی می‌داند و بارها به ایتالیا سفر کرده‌است. گاندولفینی در محله ریج پارک نیو جرسی بزرگ شد و در دبیرستان ریج پارک آنجا مشغول به تحصیل شد، در همان‌جا به بازی در تئاتر دبیرستان روی آورد. او قبل از دوران بازیگری متصدی بار یا در باشگاه‌های شبانه نگهبان بانسر بود.