آلبرت اشپر در مانهایم و در خانواده‌ای از طبقه مرفه متولد شد. او دومین پسر از سه پسر آلبرت فریدریش اشپر و لوییزه اشپر بود. در ۱۹۱۸، خانواده برای همیشه به خانه تابستانیشان، شلوس-ولفسبروننوگ، در هایدلبرگ نقل مکان کرد. بنا بر اظهارات هنری تی. کینگ، معاون دادستان نورنبرگ که بعدها کتابی دربارهٔ اشپر نوشت، «عشق و گرما در محیط خانه دوران جوانی اشپر نبود.» مدرسه او در هایدلبرگ، ورزش راگبی را ترویج می‌کرد که در آلمان معمول نبود و اشپر در آن شرکت می‌کرد؛ ولی ورزش‌های مورد علاقه وی، اسکی و کوهنوردی بود. او علاقه همسالانش به الکل، دخانیات و حتی رقص را با مناعت رد می‌کرد. او که در ریاضی بهترین دانش‌آموز مدرسه بود، مایل بود در آینده ریاضیدان شود ولی پدرش به وی توصیه کرد که اگر این شغل را انتخاب کند، یک زندگی بدون پول، مقام و آینده خواهد داشت. او در عوض، پا جا پای پدر و پدربزرگش گذاشت و تحصیلات معماری را ادامه داد.
در پی تورم شدید ۱۹۲۳ که تأثیر مخرب مستقیمی بر وضعیت زندگی خانواده اشپر گذاشت، آلبرت ناچار شد به جای ادامه تحصیل در یک مرکز آموزشی معتبر، به دانشگاه کارلسروهه رفته، در رشته معماری مشغول به تحصیل شود. در پی فروکش کردن بحران اقتصادی مذکور، اشپر در سال ۱۹۲۴ خود را به دانشگاه فنی مونیخ منتقل کرد، که از معتبرترین مراکز آموزش عالی آلمان محسوب می‌شد. در سال ۱۹۲۵ دوباره انتقالی گرفت و این بار، به دانشگاه فنی برلین رفت و تحت نظارت هاینریش تسنو، که بسیار مورد تحسین اشپر بود، مشغول به ادامه تحصیل شد. اشپر در ۱۹۲۷ پس از موفقیت در امتحانات، دستیار تسنو شد که برای یک فرد ۲۲ ساله افتخار بزرگی بود. اشپر در این مقام، برخی از کلاس‌های تسنو را درس می‌داد و به تحصیلات تکمیلی خود در مقطع دکترا نیز ادامه می‌داد. اشپر در مونیخ و برلین دوستی نزدیکی را با رودلف ولترس، که او هم نزد تسنو تحصیل می‌کرد، آغاز کرد که این دوستی بیش از ۵۰ سال ادامه یافت.
اشپر در میانه ۱۹۲۲، در شانزده سالگی عاشق مارگارته وبر شد. این رابطه موجب ناخرسندی مادر اشپر شد که نسبت به طبقه اجتماعی حساس بود و احساس می‌کرد وبرها از لحاظ طبقه اجتماعی پایین‌ترند (پدر وبر صنعتگری موفق بود که بیش از ۵۰ کارگر را در استخدام خود داشت). آن دو با وجود این مخالفت، در ۲۸ اوت ۱۹۲۸ بدون حضور والدین اشپر ازدواج کردند؛ هفت سال گذشت تا خانواده شوهر مارگارته اشپر از او دعوت کردند در خانه‌شان اقامت کند.