Ojciec umarł jak miał dwa lata, w dziewiątkę mieszkali w dwupokojowej biednej chacie z glinianą podłogą
Reinhold Vetter przypomina dzieciństwo i młodość Wałęsy. Tuż przed wybuchem II wojny światowej ojca Lecha, Bolesława wcielono do wojska. Matka Wałęsy, Feliksa, musiała więc sama zadbać o całą rodzinę, choć miała do dyspozycji tylko małe gospodarstwo rolne. Kiedy załamała się polska obrona przeciwko przeważającym siłom Wehrmachtu, Bolesław Wałęsa wrócił na krótko do domu, aby wkrótce potem przyłączyć się do AK. Kilka tygodni po narodzinach Lecha jego ojciec został aresztowany i osadzony w niemieckim obozie pracy w Młyńcu. Większość aresztowanych mężczyzn pobito na śmierć w ciągu następnych kilku dni. Bolesław Wałęsa przeżył, mimo iż także poddano go torturom. Po pewnym czasie naziści wypuścili do domu tego wówczas już chorego i postarzałego w wyniku pobytu w obozie człowieka, aby wkrótce potem zatrudnić go jako robotnika niewykwalifikowanego przy budowie mostu. Bolesław Wałęsa zmarł w 1945 r., kiedy jego syn miał dopiero dwa lata. Rok później matka wyszła za mąż za brata zmarłego męża, Stanisława Wałęsę,
który w życiu Lecha miał przejąć rolę ojca.
Warunki życia rodziny Wałęsów w pierwszych latach powojennych były wyjątkowo ciężkie. Dwoje dorosłych i siedmioro dzieci mieszkało w dwóch pokojach w biednej chacie z glinianą podłogą. Ojczym najmował się u innych chłopów jako murarz, mechanik i kowal. Aby rodzina mogła wypożyczyć konia do jednodniowej pracy, najstarszy brat Lecha Wałęsy pracował na to przez cztery dni. Przy gospodarstwie pomagały wszystkie dzieci. Zarówno przed pójściem do szkoły, jak i po powrocie z niej wypędzały krowy na pastwisko, pasły gęsi i wykonywały niewielkie prace w domu. Ubrania otrzymywały od organizacji pomocy społecznej.