Роберт отличался строптивым и вспыльчивым характером, неоднократно ввязывался в уличные драки и постоянно конфликтовал в школе. В 12 лет по настоянию матери он переехал к дедушке в Фэлтон, Дэлавер. Учеба в школе не сложилась, поскольку своевольный Митчэм не поладил с директором. Через год, в 1930-м, Роберт со своей сестрой Аннетт, теперь именовавшей себя Джули, оказался в районе Манхэттэна, именуемом «Адской кухней». После исключения из очередной средней школы он стал колесить по стране без определённой цели, успев за это время поработать в Гражданском корпусе охраны окружающей среды и даже выступать в качестве «профессионального» боксёра.