José Sarney mudou-se diversas vezes ao longo da infância, pois seu pai passou por vários processos de remoção, motivados por questões políticas. Essa peregrinação prejudicou os estudos do menino. Quando terminou o primário, Sarney foi estudar em São Luís, separando-se da família pela primeira vez. Instalou-se num quarto alugado, em pensão modesta.
Filho de Sarney de Araújo Costa e Kyola Ferreira de Araújo Costa, o maranhense José Sarney nasceu em Pinheiro, no dia 24 de abril de 1930. Sua cidade natal fica no centro de uma região colonizada por criadores de gado, a Baixada Maranhense, formada por campos alagados, e situa-se entre a capital, São Luis, e a fronteira do Pará.
Dona Kyola nasceu em Correntes, Pernambuco, de mãe paraibana, do Ingá do Bacamarte, e de pai piauiense, o sertanejo de Valença chamado Assuéro Leopoldino Ferreira. Nos anos 20, Assuéro deixou o sertão de Pernambuco e emigrou em busca dos vales úmidos do Maranhão com três filhos e a menina Kyola.
O pai era promotor público, e seu nome foi encontrado pelo avô de Sarney, José Adriano da Costa, em uma edição de 1901 do Almanaque Bristol. Ele ficara impressionado com a história de um menino de 12 anos que sabia a Bíblia de cor e salteado e que se chamava Sarney.