Conquistou o 1º lugar no exame de admissão do Colégio Maranhense dos Irmãos Maristas e teve sucesso como estudante, tirando boas notas. No entanto, teve vida difícil na capital, pois a família tinha dificuldades em sustentá-lo. Depois de cursar o ginasial no Colégio Marista, transferiu-se para o Liceu Maranhense. Ainda muito jovem, começou a freqüentar as salas de leitura da Biblioteca Pública. Enquanto incrementava a sua cultura e fixava seus objetivos, Sarney se dedicava à aprendizagem da política.
José Sarney mudou-se diversas vezes ao longo da infância, pois seu pai passou por vários processos de remoção, motivados por questões políticas. Essa peregrinação prejudicou os estudos do menino. Quando terminou o primário, Sarney foi estudar em São Luís, separando-se da família pela primeira vez. Instalou-se num quarto alugado, em pensão modesta.
Filho de Sarney de Araújo Costa e Kyola Ferreira de Araújo Costa, o maranhense José Sarney nasceu em Pinheiro, no dia 24 de abril de 1930. Sua cidade natal fica no centro de uma região colonizada por criadores de gado, a Baixada Maranhense, formada por campos alagados, e situa-se entre a capital, São Luis, e a fronteira do Pará.
Dona Kyola nasceu em Correntes, Pernambuco, de mãe paraibana, do Ingá do Bacamarte, e de pai piauiense, o sertanejo de Valença chamado Assuéro Leopoldino Ferreira. Nos anos 20, Assuéro deixou o sertão de Pernambuco e emigrou em busca dos vales úmidos do Maranhão com três filhos e a menina Kyola.
O pai era promotor público, e seu nome foi encontrado pelo avô de Sarney, José Adriano da Costa, em uma edição de 1901 do Almanaque Bristol. Ele ficara impressionado com a história de um menino de 12 anos que sabia a Bíblia de cor e salteado e que se chamava Sarney.