Alois, Hitler’in babasının ikinci eşinden evlilik dışı bir ilişki sonucu dünyaya gelmişti. O sırada babası, ilk eşiyle evliydi. Alois’in baba evini daha küçük yaşlarda terk etmesinin nedeni, babasının davranışlanna artık katlanamaz oluşudur. Oğul Alois’in makinelere büyük ilgisi, babasının mühendis olması için onu bir teknik okula göndermeyi düşünmesine yol açmış olmalı. Üçüncü evliliğine kadar, baba, bu en büyük oğluna karşı sevgisini hiç esirgememiş, yaşamında yapmak isteyip de yapamadığı şeyleri, oğlunun gerçekleştireceğine inanmıştı. Ama üvey anne hesaplı davranışlarla bu ilişkideki sevgi bağını çözüyor ve babayı, oğul Alois’in bu ilgiye layık olmadığına inandırarak, biriktirilen paranın kendi oğlu Adolfun öğrenimi için harcanmasını sağlamayı amaçlıyordu. Sonunda bu amacını gerçekleştirerek büyük oğlunun evden kovulmasını sağlayacaktı. Oğul Alois, yaşamını bir komi olarak kazanmaya başlayacaktı.
Garsonluğu hiç sevmemiş olmalı ki, 1900’de hırsızlık suçundan 5 ay hapse mahkûm oldu. 1902’de gene aynı suçtan 6 aylık bir ceza daha çekmek için hapishanenin yolunu tuttu. Daha sonra Londra’ya gidip yaşamını gene garsonluk yaparak sürdürdü.
1909’da Bridget Dowling adlı İrtandalı bir kızla evlendi. 1911’de William Patrick Hitler doğdu. 1913’te baba, ailesini terk ederek Almanya’ya döndü. Mutlu bir aile yaşamı yoktu; bu dört yıl süresince, karı koca birkaç kez ayrılıp birleşmişlerdi. Söylendiğine göre baba sık sık içer, eve elince problem çıkarırdı. Kansını ve hatta minicik yavrusunu dövmeye kalkardı. Bu ayrılıkların birinde, Alois Viyana’ya gitmişti. O sırada, Hanfstaengel’in de belirttiği gibi, Adolf da Viyana’daydı.
1924’te Alois, yargıç önüne bu kez iki kadınla eîvli olmaktan çıkarılmıştı. Sonunda altı aya mahkûm olmuş, ama ilk karısının davacı olmaması nedeniyle hapse girmekten kurtulmuştu. Almanya’da yaşayan ikinci karısından bir çocuğu oldu. Bu süre içinde ilk karısıyla ondan olan çocuğuna beş para göndermemişti. İşler ters gitmeye başlayınca, 1934’e kadar çeşitli işlere girip çıkmıştı. O yıl Berlin’de, SA ların toplantı yeri olarak seçtikleri bir lokanta açtı.
Oğlunun söylediğine göre Alois, çocukken Adolf tan nefret ediyordu. Hep Adolf un annesi tarafından kötülendiğini, Adolfun yapması gereken birtakım işlerin zorla kendisine yaptırıldığını düşünüyordu. Dahası, Adolfun arada bir işlediği kabahatlerden ötürü de anne, Alois’i suçlu sayıyordu. Tabii bunun sonucunda babadan gelecek ceza hiç gecikmiyordu.
Birkaç kez bir araya gelmelerine karışlık Adolfun buyurgan tavırları, bu buluşmalara soğuk bir hava vermiştir. Oğul Alois, Mein Kampfda (Kavgam) hiç söz konusu edilmemiştir; onun Hitler’e yakınlığından Almanya’da ancak birkaç kişinin haberi vardır. Bir gazete haberine göre Alois, çok konuştuğu gerekçesiyle 1942’de bir toplama kampına gönderilmişti.