Filho da portuguesa Maria Flávia de Sá Magalhães e de Ludwig Wilhelm Varnhagen, um engenheiro militar alemão contratado pela Coroa para construir os altos fornos da Real Fábrica de Ferro de Ipanema, na região de Sorocaba, na então Capitania de São Paulo, estudou no Real Colégio Militar da Luz, em Lisboa, e iniciou a carreira militar à época das Guerras Liberais, como voluntário nas tropas de D. Pedro IV de Portugal que lutavam contra D. Miguel I de Portugal.

Escreveu Notícia do Brasil, seu primeiro trabalho de história, entre 1835 e 1838. Suas pesquisas na matéria levam-no a localizar o túmulo de Pedro Álvares Cabral na Igreja da Graça, em Santarém. Foi admitido como sócio-correspondente na Academia de Ciências de Lisboa. Formou-se como engenheiro militar em 1839, na Real Academia de Fortificação.

Retornou ao Brasil em 1840, entrando para o Instituto Histórico e Geográfico Brasileiro em 1841, exercendo o cargo de primeiro-secretário. Em 1844 obteve a nacionalidade brasileira, podendo ser admitido na carreira diplomática. Serviu na legação de Lisboa e na de Madrid, obtendo reconhecimento como historiador com a publicação da História Geral do Brasil em dois volumes (1854-1857). Foi destacado para o Paraguai (1858), tendo servido ainda na Venezuela, em Nova Granada (atual Colômbia), no Equador, no Chile, no Peru e nos Países Baixos.

Aproveitou o seu contato com o exterior para coletar documentos sobre o Brasil em bibliotecas e arquivos. Recebeu em 1872 o título de Barão de Porto Seguro, sendo elevado a visconde 2 anos mais tarde. Encerrou a sua carreira como representante diplomático em Viena, na Áustria, onde faleceu em 1878, aos 62 anos.

Casado com a chilena Carmen Ovalle desde 1864, foi sepultado em Santiago do Chile. Atualmente seus restos mortais se encontram em um monumento em Sorocaba. Parte de sua biblioteca foi adquirida pelo bibliófilo José Mindlin, atualmente membro da Academia Brasileira de Letras.