O município de Senador Rui Palmeira originou-se da emancipação política de Santana do Ipanema. O nome da cidade homenageia o Senador Rui Soares Palmeira.
Por volta de 1940, Antônio Afonso de Melo, natural de Palmeira dos Índios, estabeleceu uma fábrica de cordas na região, utilizando o Caroá como matéria-prima. Esse empreendimento impulsionou o crescimento da localidade, inicialmente composta por residências de trabalhadores da fábrica. Em 1942, devido à industrialização do caroá, a área passou a ser conhecida como “Usina”.
A primeira feira livre ocorreu em 30 de outubro de 1943, data em que também foi celebrada a primeira missa pelo cônego José Bulhões. Em 1945, José Rodrigues Fontes instalou um alambique para a produção e venda de cachaça.
O nome “Riacho Grande” foi adotado devido à localização do município às margens de um rio temporário, que aumenta de volume durante o período chuvoso. Esse nome foi posteriormente ratificado pelo missionário Frei Damião de Bozzano.
Em 13 de maio de 1982, Senador Rui Palmeira conquistou sua emancipação política, sendo oficialmente fundado em 21 de janeiro de 1983.