A primeira praça de Bauru, e a mais famosa, teve vários nomes: Largo da Matriz, Paço Municipal, Jardim Público, Praça Régis Bitecourt, e finalmente Praça Rui Barbosa. Sua história começa no final do século 19. Na época, Bauru era patrimônio de Espirito Santo de Fortaleza e o local era um terreno vazio, uma espécie de areal. O primeiro cruzeiro, em cedro, foi construído em 1886, onde se encontra atualmente o Coreto.
No ano de 1893, Veríssimo Antônio Pereira e sua mulher doaram as terras da Fazenda Grande, área onde hoje está localizada a praça. No ano seguinte, Faustino e Joaquim Pedro da Silva, José Alves de Lima e Joaquim Fidelis da Motta, em mutirão, constroem de taipa sustentada por quatro vigas de aroeira a primeira capela, entre a atual porta principal da Catedral e o coreto. Em 1897 é criada a paróquia do Divino Espírito Santo.
Na época a praça já era o centro das atividades do recém-criado município e ida da Prefeitura e da Câmara Municipal para a rua Primeiro de Agosto, em frente à praça em 1908, uma de cada lado do Automóvel Club, aumentou o movimento de pessoas pelo local. Apenas em 1912 é que se inicia a construção do Jardim Público com projeto do projetista paulistano Heitor de Andrada Campos, no estilo do paisagismo romântico e apresenta grande semelhança com a Praça da República, na capital paulista, com lago, caminhos curvos, pontes com corrimão que imitavam troncos de árvores e vegetação exótica, o coreto e as luminárias de ferro. Os caminhos eram pavimentados antes mesmos das ruas receberam a pavimentação.
O projeto era o que de mais moderno havia na época. De acordo com o historiador Alex Gimenez Sanches, o local tinha animais que eram admirados pela população durante os passeios. "Na praça viviam patos, peixes, jacaré e até macaco", informa.
Em 1913, com o crescimento da cidade e a necessidade da continuação da rua Batista de Carvalho, o então prefeito Manuel Bento da Cruz ordena que a capela de madeira do Divino Espírito Santo seja demolida, mesmo sem autorização da Igreja Católica. O fato gerou a interdição da cidade em 1913, que só obteve o perdão oficial do Papa Paulo VI, em 1977. Atualmente pedras portuguesas brancas demarcaram no chão, o local exato onde ficava a capela, em frente da atual Catedral do Divino Espirito Santo.
O Jardim Público foi inaugurado em 1914 e possuía apenas uma entrada de cada lado da praça. Dois anos depois foi a vez da nova igreja matriz ser inaugurada. Nesse período os fiéis não ficaram sem ter um lugar para fazer suas orações. Em uma sala espaçosa da casa situada ainda hoje, na esquina da Avenida Rodrigues Alves com a rua Gustavo Maciel, foi improvisado um altar para realizarem suas orações.
O nome Rui Barbosa foi dado em 1923, após a morte do abolicionista, advogado, político, escritor e diplomata brasileiro Ruy Barbosa, falecido também em 1923.
Em 1939 e 1960 a praça sofreu grande cortes de árvores, primeiro por conta das fezes das andorinhas que fizeram sua morada ali e depois por conta de uma infestação de pequenos insetos conhecidos como "lacerdinhas", que quando caiam nos olhos das pessoas doía muito.
A reforma para o que hoje é a Rui Barbosa ocorreu em 1990, pelo prefeito Antônio Izzo Filho, com projeto do então Secretário Jurandyr Bueno Filho, remodelando totalmente o local, deixando apenas o Coreto da praça original.
A nova praça recebeu banheiros públicos, fonte de água, aumento do vão livre para circulação de pessoas e um arco iluminado com uma passarela em ladrilhos que levam as pessoas, e noivas, da rua Primeiro de Agosto até a entrada da Catedral.
Em 2015 e 2024, a local passou por revitalizações. Em 2024 o chafariz foi retirado para a construção de uma fonte interativa, que não ocorreu até o momento. Hoje no lugar do chafariz existe um gramado.