Depois de deixar a presidência, José Sarney foi eleito, em 1990, senador pelo Amapá. O ex-território federal acabara de ser tornado estado, e para la mudara seu domicílio eleitoral. Durante o primeiro mandato conseguiu aprovar o Estatuto da Micro e Pequena Empresa e a Área de Livre Comércio de Macapá e Santana. Seu projeto de distribuição gratuita de medicamentos aos portadores de HIV tornou-se referência internacional.
Em 1998, Sarney conquistou mais um mandato, reeleito pelo Amapá. Buscou levar àquele Estado as mesmas regras vigentes para o porto de Manaus.
Destacou-se, nesse mandato, sua defesa da discriminação positiva no sistema educacional brasileiro. Foi de sua autoria a primeira proposta de cotas raciais apresentada ao Congresso, em 1999, que foi aprovada no Senado, mas acabou perdendo força ao ser apensada na Câmara ao Estatuto da Igualdade Racial. Seu projeto, que englobava concursos para cargos públicos em todas as esferas federativas e o Fies — Fundo de Financiamento ao Estudante do Ensino Superior (Fies), determinava que no mínimo 20% das vagas fossem reservadas para pessoas negras.
Em desacordo com o PMDB, apoiou a candidatura de Lula à Presidência da República, em 2002. Em 2006, o Amapá, pela terceira vez, elegeu Sarney como seu representante no Senado.
Entre outras propostas, Sarney trabalhou pelo Plano de Desenvolvimento Regional dos Municípios do Entorno do Parque do Tumucumaque, e pela criação da Política Nacional do Livro e de um fundo nacional para dar assistência a vítimas de violência.