Casestudy: Hathora bespaart miljoenen door cloud en bare metal te combineren

Hathora wilde zijn platform snel lanceren en opschalen en volgde daarom een aanpak die inmiddels gebruikelijk is bij veel startups, kleine teams en andere bedrijven: het bedrijf zette volledig in op de cloud en draaide alles op Amazon Web Services met EKS, de volledig beheerde Kubernetes-service van de cloudgigant. De ambities leken grenzeloos: Hathora wilde gameontwikkelaars van elke omvang bedienen, van de kleinste teams tot de grootste studio’s en iedereen daartussenin.

En het werkte – tot op zekere hoogte. Meer dan 100 gamestudio’s namen het Hathora-platform binnen zes maanden na de eerste lancering in gebruik. Dat aanvankelijke succes bracht een fundamenteel probleem aan het licht, gezien Hathora’s doel om gamestudio’s van elke omvang en overal ter wereld te bedienen: toen het bedrijf met steeds grotere studio’s ging werken, werd de economie van zijn infrastructuur die uitsluitend op de cloud was gebaseerd al snel onhoudbaar – zozeer zelfs dat het dreigde een groot en lucratief segment van de totale markt mis te lopen.

In deze casestudy krijgen we uit eerste hand inzicht in hoe Hathora’s CTO en team hun oorspronkelijke bedrijfs- en technologiestrategie transformeerden, met mogelijk ingrijpende resultaten – en in enkele lessen voor andere technologieleiders in elke sector.

Het bedrijf & de CTO

Bedrijf: Hathora, een wereldwijde leverancier van kritieke infrastructuur en serverorkestratie voor videogamestudio’s om hun online multiplayergames te hosten.

De CTO: Harsh Pandey, die ook de oprichter van het bedrijf is:

“We hebben Hathora gebouwd om gamestudio’s van elke omvang toegang te geven tot infrastructuur op wereldwijde schaal, zonder dat ze die zelf hoeven te bouwen. Maar toen we voor grotere studio’s begonnen uit te rekenen wat de kosten zouden zijn, klopte het financiële plaatje niet meer. Cloudkosten, vooral voor uitgaand dataverkeer, maakten ons aanbod onhoudbaar voor precies het soort klanten dat we wilden bedienen.”

Hoofdkantoor: New York City

Klantenbereik: Vandaag de dag bedient Hathora (letterlijk) klanten over de hele wereld vanuit 14 wereldwijde regio’s, verspreid over zes continenten.

Het bedrijfsprobleem

Grote ambities brengen meestal grote uitdagingen met zich mee, en dat was precies het geval voor Harsh en Hathora.

Een deel daarvan houdt verband met de aard van de game-industrie: MMO-games zijn geen kleine winkels met voorspelbare verkeerspatronen. Multiplayergames moeten daarentegen voortdurend updates leveren aan elke afzonderlijke verbonden speler, gelijktijdig en met zeer hoge prestaties.

Dat betekent dat er regelmatig enorme hoeveelheden data heen en weer bewegen tussen de back-endinfrastructuur en individuele spelers, die bij grotere games met miljoenen kunnen zijn. En als je denkt dat je klanten veeleisend zijn, laten we dan maar zeggen dat serieuze gamers niet per se tot de meest geduldige mensen behoren als het gaat om gameprestaties en gebruikerservaring.

Het draaien van gamesserverwerklast vanuit Hathora’s platform dat uitsluitend op de cloud was gebaseerd, werkte goed voor kleinere studio’s. Maar toen een grotere studio bij het bedrijf informeerde naar de prijs, realiseerden Harsh en het team zich dat het financiële model beperkingen had.

“We wisten dat we een uitdaging moesten aanpakken toen een grote gamestudio die ons platform voor het hosten van gamservers gebruikte voor interne speeltests, vroeg naar de prijs voor de lancering,” vertelde Harsh ons. “Hun verwachte rekening voor bandbreedte kwam uit op meer dan een miljoen dollar per maand.”

Volgens Harsh was dat vier keer de normaal verwachte rekenkosten voor het draaien van de game. Dat was niet houdbaar voor de studio of voor Hathora. Daarmee kwam Hathora op een spreekwoordelijk kruispunt te staan: vasthouden aan de oorspronkelijke strategie die uitsluitend op de cloud was gebaseerd, met het risico het segment van grote studio’s te verliezen, of een verandering doorvoeren.

“Het op te lossen probleem was de prijsstelling, zo eenvoudig was het,” zegt Harsh.

De oplossing was echter technisch: Hathora moest zijn eigen infrastructuur transformeren om beter aan de unieke eisen van gamesserverwerklast te voldoen en tegelijkertijd een prijsmodel invoeren dat zelfs de grootste studio’s eenvoudig konden toepassen.

Wat ze eraan deden en waarom

Techprofessionals van allerlei pluimage hebben volop verkooppraatjes gehoord over de voordelen van het migreren van infrastructuur en workloads naar de cloud, of over het simpelweg lanceren van een organisatie die uitsluitend in de cloud opereert. Dat is al jaren een belangrijke trend, en Hathora vormde daarop geen uitzondering.

Hathora bewoog zich vrijwel in de tegenovergestelde richting om het probleem met grote klanten op te lossen. Het bedrijf koos voor een hybride cloud-architectuur en zette uiteindelijk zwaar in op een oude bekende: bare-metalservers. 

(Lees ook ons artikel over deze recentere trend van het verlaten van cloudomgevingen ten gunste van infrastructuur op locatie.)

Harsh vertelt over de ontwikkeling van het bedrijf:

“We stapten over op een hybride model en hielden de infrastructuurkosten per gelijktijdige sessie, de latentieprestaties in verschillende wereldwijde regio’s en de technische inspanning die nodig was om alles te beheren bij. Door 80% van onze workloads naar bare metal te verplaatsen, kunnen we de rekenkosten bijna halveren en de bandbreedtekosten met meer dan 90% verlagen. We beheren nu meer dan 30.000 processorkernen verspreid over 14 regio’s met een relatief klein technisch team. Dat niveau van efficiëntie en bereik zou met onze oorspronkelijke architectuur onmogelijk zijn geweest.”

Ze maken nog steeds gebruik van cloudinfrastructuur voor schaalbaarheid en pieken in de vraag, goed voor ongeveer 20% van de workloads (in plaats van 100%). De technologiestack van Hathora steunt nu echter op resources van twee bare-metal aanbieders en de AWS- en GCP-cloud, in plaats van alles op AWS te laten draaien. Harsh en zijn team kozen voor Talos Linux, een minimalistische distributie die specifiek is ontworpen voor Kubernetes-omgevingen, en voor Omni (eveneens van Sidero Labs) voor orkestratie vanuit één controlelaag over de hybride omgevingen heen.

Het spreekt voor zich dat dit niet zo eenvoudig was als een lichtschakelaar aan- of uitzetten. Bovendien waren er voor- en nadelen om rekening mee te houden. Uitsluitend in de cloud werken hielp Hathora aanvankelijk om snel en succesvol te lanceren. Afstappen van dat model betekende dat het bedrijf een aantal voordelen van de cloud moest opgeven, in elk geval in eerste instantie:

“Een wijziging betekende dat we veel van het gemak moesten opgeven dat cloudplatforms bieden,” zegt Harsh. “We zouden eenvoudige automatische schaalvergroting, ingebouwde monitoring en beheerde diensten verliezen. Dat zorgde voor extra operationele complexiteit. We moesten ook bewijzen dat we de prestaties van de cloud konden evenaren of overtreffen. Er was geen garantie dat we leveranciers of tooling zouden vinden die op de door ons benodigde manier zou werken. Maar we geloofden dat het voor ons bedrijfsmodel essentieel was om kosten en prestaties onder controle te krijgen, en we waren bereid dat risico te nemen.”

De gok werpt zijn vruchten af en effent de weg voor de volgende groeifase van Hathora: het bedrijf bedient nu klanten op zes continenten. Het kan dezelfde kritieke infrastructuur aan de grootste studio’s leveren tegen aanzienlijk lagere kosten dan voorheen. Het biedt ook meer gedetailleerde controle over de unieke vereisten van workloads voor games (dit is eveneens een belangrijk voordeel van software voor vereistenbeheer), met controle op knooppuntniveau dankzij Talos Linux en uniforme clusterorkestratie met Omni, ongeacht waar workloads worden uitgevoerd.

“Deze tools zijn minimalistisch, veilig en eenvoudig te beheren op verschillende infrastructuurtypen,” zegt Harsh. “We beoordeelden onze stack op basis van prestaties, kosten en de mate van controle die we zouden behouden. Dankzij de nieuwe opzet kunnen we met een klein team werken en wereldwijd opschalen zonder aan één leverancier gebonden te zijn.”

Het kleine technische team van Hathora is inderdaad een soort onofficiële KPI geworden. Het bedrijf zag directe prestatie- en kostenverbeteringen nadat het zijn eerste volledige regio naar het hybride model had gemigreerd en schaalde vervolgens snel op (het draait nu in 14 regio’s over de hele wereld).

“Elke keer dat iemand ontdekt dat onze infrastructuur door slechts enkele engineers wordt beheerd, is dat een moment dat benadrukt hoe ver we zijn gekomen.”

Belangrijkste inzichten & geleerde lessen

Je hoeft niet werkzaam te zijn in de sector van digitale infrastructuur of videogames om vergelijkbare principes en lessen in je eigen bedrijf toe te passen.

• Luister naar je klanten: Harsh en zijn team beseften dat ze een probleem hadden – en dat ze dit proactief moesten oplossen – door naar hun klanten te luisteren, in het bijzonder naar de grote studio die Hathora had gebruikt voor interne tests en later vroeg om kostenramingen voor het geval de daadwerkelijke game erop zou draaien. CTO’s zijn net zo verantwoordelijk voor het oplossen van problemen van klanten als voor het bouwen van technologische oplossingen – die twee gaan hand in hand.

• Wees niet bang om van koers te veranderen. “Cloud eerst”, “cloud-native” en vergelijkbare termen moeten worden gezien als aanpasbare strategieën, niet als heilige dogma’s. Hetzelfde principe geldt op veel gebieden: alleen omdat je met een bepaalde strategie begint, betekent dat niet dat je die voor altijd moet blijven volgen. Hathora had voet bij stuk kunnen houden en volledig in de cloud kunnen blijven, maar daarmee zou het zijn groeipotentieel en uiteindelijk ook de prestaties van de games die op zijn infrastructuur draaien, hebben beperkt.

Door over te stappen op een hybride model kon het bedrijf klanten van elke omvang bedienen en de prestaties verbeteren dankzij meer flexibiliteit en controle bij het inspelen op de specifieke vereisten van gamewerklasten. Hathora heeft sindsdien een enterprise-laag kunnen lanceren die de grootste studio’s voorspelbare prijzen en sterke prestatiegaranties biedt.

• Wees zorgvuldig in je analyse. Zo’n transformatie kan niet op basis van giswerk worden gerealiseerd. Harsh en zijn team voerden een volledige haalbaarheidsproef uit met Talos en Omni om hun strategische koerswijziging te testen:

"Toen we hadden gevalideerd dat we alles via één systeem konden orkestreren, migreerden we onze eerste volledige regio. De prestatiewinst was onmiddellijk merkbaar. Van daaruit rolden we het model wereldwijd uit en voegden we onderweg leveranciers en locaties toe,” zei Harsh.

Het analyseerde de voor- en nadelen – waaronder het aanvankelijke verlies van de voordelen van de cloud die Harsh hierboven beschreef – om verrassingen tot een minimum te beperken. Het wist dat het een Kubernetes-vriendelijke oplossing moest vinden die alles in meerdere omgevingen en regio’s kon orkestreren en in wezen elke machine hetzelfde kon behandelen, ongeacht of deze op bare metal of in een cloud draaide.

Harsh merkte op dat ze ook diepgaand onderzoek deden naar het benchmarken van leveranciers, waarbij ze AMD- en Intel-CPU’s vergeleken, de netwerkprestaties in de praktijk testten en leveranciers beoordeelden op hoe goed ze presteerden ten opzichte van AWS’ Global Accelerator. 

“We zorgden ervoor dat onze nieuwe opstelling niet alleen goedkoper, maar ook sneller en betrouwbaarder was in de regio’s die ertoe deden.”

• Denk op lange termijn: zulke ingrijpende koerswijzigingen gaan niet alleen over het oplossen van eenmalige problemen. Als ze goed worden uitgevoerd, openen ze gaandeweg steeds meer mogelijkheden. Die langetermijnvisie werpt al vruchten af voor Hathora. Het bedrijf blijft nieuwe functies ontwikkelen voor grotere studio’s, zoals opties voor speciale clusters, regionale peering voor overdrachten met lage latentie en verbeterde observatiemogelijkheden tijdens live-evenementen.

Harsh zei ook dat Hathora’s nieuwe infrastructuurmodel voor gaming veelbelovend is voor andere sectoren die realtime-reactiviteit en een hoge verwerkingscapaciteit vereisen, en dat het langetermijnplan van het bedrijf is om nieuwe oplossingen uit te rollen voor ontwikkelaars buiten de game-industrie.

“De overstap naar een hybride model gaf ons flexibiliteit op lange termijn. We kunnen nu snel nieuwe regio’s betreden, nieuwe hardwareleveranciers testen zonder afhankelijk te raken en klanten meer controle geven over de manier waarop hun infrastructuur wordt geïmplementeerd. Het platform is veel modularer en aanpasbaarder geworden.”

Voor meer casestudy’s en draaiboeken kun je je abonneren op de nieuwsbrief van The CTO Club.