O problema foi gerado porque alguns dos servidores de cache da Nuvemshop deixaram de funcionar. Quando um de seus clientes acessa a sua loja, se utiliza a base de dados para obter a informação da sua loja e vários servidores para construir a loja que o cliente vê. Esse processo, geralmente, demora mais tempo do que uma pessoa quer esperar, por isso, uma vez que construímos o que o seu cliente quer ver, guardamos esses dados para não ser preciso construí-lo para cada cliente; esses dados são guardados nos servidores chamados de "cache". Na próxima vez que alguém quer ver a sua loja, em vez de precisar consultar a base de dados e vários servidores, puxamos a loja já construída que estava guardada no cache, fazendo com que a resposta seja extremamente rápida.

Na Nuvemshop temos muitos servidores de cache redundantes para que, ainda que vários deixem de funcionar, hajam outros de substituição prontos para que sua loja não seja afetada. O que aconteceu neste caso foi que todos os servidores de cache deixaram de funcionar ao mesmo tempo por um erro que ainda estamos entendendo mais a fundo com o nosso provedor de servidores (Amazon).

Como os servidores de cache deixaram de funcionar, cada vez que alguém entrava na loja, tínhamos que buscar a informação da base de dados e utilizar vários servidores para construir a loja. Esse processo já é demorado naturalmente, mas com milhões de clientes entrando nas lojas da Nuvemshop, isso fez a infraestrutura colapsar levando à impossibilidade de acesso a qualquer loja.

Assim que conseguimos substituir os servidores de cache que estavam falhando, a Nuvemshop voltou a funcionar normalmente.

Todas as lojas estão funcionando corretamente. Na próxima mensagem vamos falar sobre o que aconteceu mais detalhadamente.

Começamos a aplicar a solução a todas as lojas. Este processo não é instantâneo e requer aplicação de loja a loja. Algumas lojas passarão a funcionar antes do que outras.

Notamos alguns problemas na solução anterior, os resolvemos e estamos testando em algumas lojas de teste para assegurar que tudo está funcionando corretamente, e assim começar a aplicar a mudança para todas as lojas.

Completamos os preparativos para que Nuvemshop esteja pronta para trabalhar com o novo cache. Estamos testando em lojas de teste antes de aplicar a solução a todas as lojas.

A nova infraestrutura do cache está disponível para uso. Começamos a preparar a Nuvemshop para poder trabalhar com este novo cache.

O processo de substituição está demorando mais do que o esperado, por isso optamos por substituir todos os servidores de cache.

Começamos o processo de substituição dos servidores falhos.

Suspeitamos a possível origem do problema: alguns dos nossos servidores de cache deixaram de funcionar. Estamos trabalhando na solução, que consiste em gerar novos servidores de cache.

Notamos que algumas lojas estavam mais lentas do que de costume, incluindo impossibilidade de acesso total em algumas. Toda nossa equipe de tecnologia está trabalhando para entender o problema