Segundo o escritor francês Jean de Léry, que fez parte da expedição francesa que tentou implantar a França Antártica na Baía de Guanabara no século XVI, existia uma aldeia tupinambá no sopé do atual Outeiro da Glória, em uma das foz do Rio Carioca (mais especificamente, a foz do Rio Catete, que era um braço do Rio Carioca). Tal aldeia se chamava Kariók ou Karióg ("casa de carijó") e teria dado origem ao atual gentílico da cidade do Rio de Janeiro, "carioca".
Na região, ocorreram violentos combates entre portugueses e seus aliados indígenas, de um lado e franceses e tupinambás, do outro, durante a expulsão dos franceses da região pelos portugueses no século XVI, pois os franceses e os tupinambás haviam construído uma forte paliçada na área, o Entrincheiramento de Uruçumirim. Em uma dessas batalhas, em 20 de janeiro de 1567, foi mortalmente ferido o líder português Estácio de Sá, que havia fundado a cidade do Rio de Janeiro dois anos antes. O bairro deve seu nome à Igreja de Nossa Senhora da Glória do Outeiro, construída no século XVIII. Em torno da igreja, consolidou-se o povoamento do bairro.
A igreja teve papel de destaque na corte do rei português dom João VI. O imperador brasileiro dom Pedro II batizou-se nela. Nela, também foi batizado o escritor brasileiro Lima Barreto. Atualmente, é o local onde são batizados os descendentes - do ramo fluminense - de dom Pedro II. Até os anos 1930, era considerado o "Saint-Germain-des-Prés carioca", pois, desde fins de 1880, abrigava hotéis que serviam de residência a deputados e senadores em exercício no Rio de janeiro, então capital federal.
Boa parte de seus modelos arquitetônicos e urbanismo inspiraram-se em Paris: basta considerar a Praça Paris, inaugurada em 1929, que é um verdadeiro jardim francês. Em 11 de maio de 1881, foi fundada a Igreja Positivista do Brasil no número 74 da atual Rua Benjamin Constant. Tal organização viria a ter um importante papel na Proclamação da República do Brasil, oito anos depois. Em 1899, o bairro foi um dos principais cenários descritos no clássico livro da literatura brasileira "Dom Casmurro", de Machado de Assis, além de estar presente em outros livros seus como "Esaú e Jacó" e "Memorial de Aires". Em 1900, foi inaugurado o Monumento ao Quarto Centenário do Descobrimento do Brasil pelos Portugueses.
Em 1905, foi construído o relógio do Largo da Glória, que continua sendo uma referência arquitetônica do bairro até hoje. Em 15 de agosto de 1922, foi inaugurado o Hotel Glória. Entre os anos 1930 e 1960, os casarões em estilo eclético e boa parte das vilas operárias do bairro foram derrubados para dar lugar aos prédios que caracterizam o bairro atualmente. Nessa época, o escritor brasileiro Mário de Andrade morou no número 5 da Rua Santo Amaro.
Em 1956, foi inaugurado o restaurante "Casa da Suíça", que continua a ser uma referência cultural do bairro até hoje. Em 1965, foi inaugurado o Parque Brigadeiro Eduardo Gomes. Em 1979, foi inaugurada a Marina da Glória. Em 2004, foi inaugurado o Memorial Getúlio Vargas.
