Agenor de Oliveira, conhecido como Cartola, nasceu no Catete, no Rio de Janeiro, no dia 11 de outubro de 1908. Era filho de Sebastião Joaquim de Oliveira e de Ada Gomes.
Infância e juventude Ainda menino, teve contato com os festejos populares do Rio, quando seus familiares desfilavam no Dia de Reis, fantasiados e munidos de cavaquinho e violão. Cartola estudou em vários grupos escolares, entre eles o Rodrigues Alves, pois acabava sempre expulso por mau comportamento, só concluindo o curso primário. Quando tinha onze anos, seus pais se mudam para o Morro da Mangueira, onde Cartola começou a frequentar a vida boêmia e as rodas de samba. Nessa época, tocava violão e cavaquinho. Com quinze anos, quando ficou órfão de mãe, seu Sebastião mandou Cartola tratar da vida. Sem ter onde dormir ficava pelas madrugadas na boêmia e malandragem. Para se sustentar, Cartola empregou-se em uma tipografia, mas não ficou muito tempo, pois não se adaptou ao serviço onde não podia assobiar nem cantar. Começou o trabalho na construção civil e acabou aprendendo a profissão de pedreiro. Nessa época, usava um chapéu-coco, e assim nasceu o apelido de “Cartola”.