Join the new world

Issues during Epic Warfare

Fellow eRepublikans,

We’re sorry for the delay in posting this, but we wanted to make sure all the compensations were given accordingly. We will use this chance to explain what went wrong in the tournament, and why our reactions often seemed so slow. We’ll also talk about the compensation rewards and the issues we faced when awarding them.

Background

Over the last couple of months, we’ve done a progressive migration of all our servers from our historical provider to Amazon cloud, in order to increase the flexibility and reliability of eRepublik.com.

As the Epic Warfare tournament was being scheduled, we were aware that our current setup could not accommodate the epic load, so we migrated the critical part of the servers (database servers, cache servers and web nodes) on 10th of October with 2 hours of cumulative downtime.

By the start of the tournament, the majority of eRepublik was running on the AWS (Amazon Web Services), the avatars being an exception.

Epic Tuesday

We expected a similar load distribution over the tournament week like we had last year: load increasing during the week, as more players hit higher recovery rates. This time a vast majority of players were prepared to hit from the first minute. A significant part of them were also using client side scripts, causing a surge of load at day change.

We increased the instances to accommodate the extra load, but soon enough we hit several bottlenecks on the master database, caused by various parts of legacy code. Mainly various tables were locked by queries that were resource intensive, or should have used the slave databases. We solved the bottlenecks one by one, as we faced them.

It is worth mentioning that a critical service we are using to identified application performance issues, Newrelic.com, experienced an outage of its own on Tuesday, making our task harder.


Failing Sunday

The servers performed within parameters for the rest of the week, until Sunday. During the epic battle Serbia-Chile, the site, being under significant abuse (scripts, COs), became unusable, as it was again hitting another database bottleneck. Unfortunately, what should have taken 20-30 minutes to fix, became a 3 hour nightmare for the players. The late response was due to a mix of factors:

1) The automatic monitoring alerts were not triggered in due time, as they were not tuned for the AWS environment, but for the servers and setup we had at our previous provider.

2) A failure in the team communication; one of our QA engineers left the team last Friday and we failed to make sure that his weekend shift was covered by one of his QA colleagues. So basically there wasn’t anyone from QA “on call” during Sunday and that prevented us from catching the problem sooner.

All in all, it was a poor performance on our part and for that we would like to apologize.


Hiccup Monday

With load increasing on the site and the tournament closing, half an hour of site slowdown was experienced on Monday because of yet another set of queries.


Rewards Tuesday

As you should know by now, we decided to compensate all the problems we experienced during the tournament. The next milestone was activated for all participants, and the Energy Centers were extended with 2 days.

Unfortunately, we faced a new set of problems with the Energy Centers. It was basically a human mistake, caused by the rush of delivering the compensations. Everything should be solved by now, but if you still feel that something is wrong, don’t hesitate to send us a ticket by using the Contact page below!


Avatar Thursday

We completed the migration process to the Amazon Cloud today, finishing the move of the avatars. Changing avatars is now possible again and the players now have a better “Edit profile” section.

We still have to tweak some things, but we are confident that we’re now able to give you a better service. The kind of service the amazing and passionate community of eRepublik deserves.


The Future

We will continue to monitor and clean the application of legacy code (some of it dates back to 200😎 that is prone to failure. We will also focus on our monitoring and alerting procedures, in order to improve escalation and response times.

We’re also considering some changes on the military and marketplace modules, in order to minimize the impact of the scripts in use today. We do plan to include the fight script functionality in the site, but we’re not prepared to go into details right now.


Summary

To sum it up, we’re extremely sorry for all the issues players had to face during the tournament. We were not able to deliver the experience we wanted to, and we’ll do our best to learn from these difficult times. We hope that this message gave you the much needed insight on the issues, despite it being rather technical.

Words cannot describe how much we appreciate all the passion and support you guys are showing every day. The community has kept the game going for so many years, and the whole eRepublik Team is confident that together we can make the New World a better place.

o7


Dönüt yolla
Gün 2,536

Issues during Epic Warfare

Gün 2,534

New rewards of the Weekly Challenge

Gün 2,532

Server Issues.

Gün 2,523

Epic Warfare Tournament

some_text

Q5 Houses are now available
some_text

Gün 2,520

Q4 Houses are now available

some_text

New rewards of the Weekly Challenge

Gün 2,516

Server maintenance and possible downtime

Gün 2,513

New rewards of the Weekly Challenge

Gün 2,509

Server maintenance and possible downtime


Epik savaş sırasında sorunlar


Sevgili eRepublikans,


Bu mesaj olarak gecikme için özür dileriz ama biz buna göre verilen tazminatlar emin olmak istedim. Turnuvada Sorunun ne ve neden bizim reaksiyonlar genellikle öyle göründü yavaş açıklamak için bu şansı kullanacağız. Biz de tazminat ödül ve biz onları ödüllendirme ne zaman karşı karşıya sorunları hakkında konuşacağım.


Arka plan


Ay son çift üzerinde bizim sunucuların aşamalı bir geçiş bizim tarihsel sağlayıcıdan Amazon bulut, esneklik ve eRepublik.com güvenilirliği artırmak amacıyla yaptık.


Epik savaş turnuva planlanıyordu böylece biz Ekim 10 ile 2 saat-in downtime toplu sunucularında (veritabanı sunucuları, önbellek sunucuları ve web düğümleri) kritik bir parçası göç bizim mevcut kurulum epik yük alabilecek değil ki farkında vardı.


Turnuva başlangıç tarafından AWS (Amazon Web Services), avatarlar bir istisna olmak eRepublik çoğunluğu koşuyordu.

Epic Salı


Geçen seneki gibi benzer bir yük dağılımı turnuva hafta bekleniyor: daha fazla oyuncu daha yüksek kurtarma oranları vurmak gibi hafta boyunca artan yük. Bu sefer oyuncu büyük bir çoğunluğu ilk dakikadan beri vurmak için hazır. Bunların önemli bir bölümü de yük günü değişikliği, bir dalgalanma neden olan istemci tarafı komut dosyalarını kullanarak.


Biz örnekleri ilave yükü karşılamak için artış, ama yakında yeterli biz eski kod tarafından kısımların neden asıl veritabanı, çeşitli performans sorunlarını çarptı. Esas olarak çeşitli tablolar kaynak yoğun veya köle veritabanları kullanmalıydın sorgular tarafından kilitlenmiş. Biz onlara karşı gibi tek tek performans sorunlarını çözdük.


Bu kritik bir hizmet uygulama performansı sorunlarını, Newrelic.com, teşhis için kullanıyoruz, Salı günü, kendi bizim görev daha zor hale kesinti deneyimli söz etmek gerekiyor.

Pazar başarısız


Sunucular içinde Pazar kadar haftanın geri kalanı için parametreleri uygulandı. Sırbistan-Şili, altında önemli istismar ediliyor site sırasında epik savaş (scripts, çünkü), yine bir başka veritabanı performans sorunu isabet oldu olarak kullanılamaz, oldu. Ne yazık ki, ne-e doğru saptamak, 20-30 dakika sürmeliydi oldu 3 saat kabus oyuncular için. Geç yanıt faktörlerin karışımı nedeniyle oldu:


1) otomatik izleme uyarıları zamanında tetikleyen değil zaman, AWS çevrenin ayarlanmamış, ancak sunucuları ve kurulum için biz bizim önceki sağlayıcı at vardı.


2) takım iletişim başarısız; Geçen Cuma da ülkemizin QA ekibi yaptı ve onun hafta sonu vardiya bir QA meslektaşları tarafından kaplıydı emin olmak başarısız oldu. Yani aslında yoktu QA kimseden "arama" sırasında Pazar ve sorunu daha erken yakalamak bizi engelledi.


Hepsi, özür dilemek istiyorum bir düşük performans için ve bizim tarafımızdan oldu.

Hıçkırık Pazartesi


Site ve turnuva yaklaşıyor artan yükü ile yarım saat site yavaşlama nedeniyle yeni bir küme sorgular Pazartesi günü yaşandı.

Ödüller Salı


Artık bilmeli gibi turnuva sırasında deneyimli sorunlarını telafi etmek karar verdik. Sonraki aşama için tüm katılımcıların aktif ve enerji merkezleri ile 2 gün uzatılmıştır.


Ne yazık ki, bir dizi yeni enerji merkezleri ile ilgili sorunlar ile karşı karşıya. Tazminatlar teslim rush tarafından neden olduğu bir insan hata mı? Her şey, şimdiye dek-meli var olmak münhal ama hala bir şey yanlış olduğunu düşünüyorsanız aşağıdaki iletişim sayfasını kullanarak bize bilet gönderin çekinmeyin!

Avatar Perşembe


Biz Amazon bulut bugün, geçiş işleminin avatarlar taşı kaplama tamamlandı. Avatarlar değiştirme şimdi tekrar ve mümkün oyuncular, şimdi daha iyi bir "Profil Düzenle" bölümünde var.


Hala bazı şeyleri oynamak gerekiyor, ama eminiz ki, biz size daha iyi hizmet vermek mümkün. Nasıl bir hizmet şaşırtıcı ve tutkulu topluluk eRepublik hak ediyor.

Gelecek


İzlemek ve başarısızlık eğilimli (bir kısmı tarihleri geri 200😎 eski kod uygulama temizlemek devam edecektir. Ayrıca bizim izleme ve uyarı işlemleri, yükseltme ve yanıt süresini artırmak amacıyla alınacak.


Ayrıca bugün kullanılan komut dosyalarını etkisini en aza indirmek için bazı değişiklikler üzerine Askeriye ve Pazar alanı modülleri, düşünüyoruz. Sitedeki mücadele script işlevsellik eklemek plan ama biz detaya gitmek için hazır değilsin.

Özet


Bu özetlemek için son derece müteessir tüm konular oyuncular turnuva sırasında karşılaştım. Biz istedik deneyimi sunmak mümkün değildi ve bu zor zamanlarda öğrenmek için elimizden geleni yapacağız. Umarız bu mesajı size çok gerekli fikir rağmen oldukça teknik olan konularda verdi.


Ne kadar biz tüm tutku ve her gün gösteriyorsun destek için teşekkür ederiz kelimeler tarif edemem. Topluluk oyunu çok uzun yıllar boyunca korumuştur ve tüm eRepublik takım birlikte yeni dünya daha iyi bir yer yapmak ki emindir.

o7