"Ktoś zgwałcony może się po prostu wytrzeć"
Charlie stawał się coraz bardziej nieznośny. Unikał szkoły, kłamał i często tracił kontrolę nad sobą. Jako trzynastolatek zaczął uciekać z domu. Matka postanowiła go oddać na jakiś czas do ośrodka dla młodzieńców mających kłopoty z prawem. Tak zaczęła się jego przygoda z miejscami, w których odbywa się karę pozbawienia wolności.
Po którymś wybryku sąd skierował go do Indiana Boys' School w Plainfield - poprawczaka z prawdziwego zdarzenia. Po latach twierdził, że niemal natychmiast został zgwałcony. Jeśli nawet ubarwił nieco tę relację, to niewątpliwie jest prawdą, że drobny i chuderlawy Charlie był zmuszany przez silniejszych chłopców do rozmaitych czynności seksualnych. Przyczyniło się to do wykształcenia w nim niemal neutralnej oceny gwałtu, czy to dokonywanego na nim samym, czy też na innych osobach. Sześćdziesiąt lat później wyznał: "Ktoś zgwałcony może się po prostu wytrzeć [...]. Może to straszne, ale nie mam poczucia, że ktoś przy tym może zostać naprawdę skrzywdzony. Myślę tylko, że trzeba się oczyścić, to wszystko".
Ponieważ stale był zagrożony pobiciem lub seksualnym molestowaniem, to właśnie w Plainfield Charlie wykształcił w sobie mechanizm obronny, do którego często się uciekał przez resztę życia. W późniejszym okresie nazwał go "odgrywaniem wariata". W sytuacjach zagrożenia, jeśli nie potrafił się obronić w inny sposób, udawał szaleńca, zachowując się tak, aby przekonać potencjalnych napastników, że jest obłąkany.
W 1956 trafił do więzienia w Zakładzie Karnym Terminal Island w San Pedro za kradzież samochodu. Wśród więźniów na Terminal Island znajdowali się również starzy recydywiści, którzy zdominowali pozostałych osadzonych.