Casestudie: Hathora sparer millioner ved at kombinere skyen og fysiske servere

Nogle gange ender den selvsamme infrastruktur, der hjælper dig med at opnå en succesfuld lancering, med at blive en hindring, når din virksomhed skyder i vejret.

I Hathoras tilfælde var det både bogstaveligt talt sandt og en smule ironisk: Virksomheden beskæftiger sig med at levere kritisk infrastruktur og serverorkestrering til videospilstudier, så de kan hoste og skalere deres online multiplayer-spil.

Det er et enormt marked efter de fleste målestokke. Analysevirksomheden Technavio forventede for eksempel, at markedet for massivt multiplayer-onlinespil (MMO) vil vokse med næsten 30 milliarder dollars mellem 2025 og 2029. Andre analytikere forventer en lignende vækst i løbet af de næste omkring fem år.

Hathora ønskede at lancere og skalere sin platform hurtigt, så virksomheden fulgte det, der er blevet en almindelig fremgangsmåde for mange startups, små teams og andre virksomheder: Den satsede fuldt ud på cloud og kørte alt på Amazon Web Services med EKS, cloudgigantens fuldt administrerede Kubernetes-tjeneste. Ambitionerne syntes grænseløse: Hathora ønskede at betjene spiludviklere af alle størrelser, fra de mindste teams til de største studier og alle derimellem

Og det virkede – til et vist punkt. Mere end 100 spilstudier tog Hathora-platformen i brug inden for seks måneder efter den første lancering. Denne indledende succes afslørede et grundlæggende problem i forhold til Hathoras mål om at betjene spilstudier af alle størrelser og fra hele verden: Da de begyndte at arbejde med større og større studier, blev økonomien i deres cloudbaserede infrastruktur hurtigt uholdbar – i en sådan grad, at de risikerede at gå glip af et stort og lukrativt segment af det samlede marked.

I dette casestudie får vi et førstehåndsindblik i, hvordan Hathoras CTO og team omformede virksomhedens oprindelige forretnings- og teknologistrategi med potentielt dramatiske resultater – samt nogle erfaringer for andre teknologiledere i enhver branche.

Virksomheden & CTO'en

Virksomhed: Hathora, en global leverandør af kritisk infrastruktur og serverorkestrering til videospilstudier, så de kan hoste deres online multiplayer-spil.

CTO'en: Harsh Pandey, som også er virksomhedens grundlægger:

“Vi byggede Hathora for at give spilstudier af alle størrelser adgang til infrastruktur i global skala uden at skulle bygge den selv. Men da vi begyndte at beregne priserne for større studier, hang økonomien ikke længere sammen. Cloudomkostninger, især dataudgående trafik, gjorde vores tilbud uholdbart for netop den type kunder, vi ønskede at betjene.”

Hovedkvarter: New York City

Kundedækning: I dag betjener Hathora (bogstaveligt talt) kunder over hele verden fra 14 globale regioner fordelt på seks kontinenter.

Forretningsproblemet

Store ambitioner medfører som regel store udfordringer, og det var netop tilfældet for Harsh og Hathora.

En del af dette er grundlæggende forbundet med spilbranchens natur: MMO-spil er ikke små familieejede butikker med forudsigelige trafikmønstre. Multiplayer-spil skal derimod levere konstante opdateringer til hver eneste tilsluttede spiller samtidigt og med høj ydeevne.

Det betyder, at enorme mængder data regelmæssigt bevæger sig frem og tilbage mellem backend-infrastrukturen og de enkelte spillere, som kan tælle i millioner for større spil. Og hvis du synes, at dine kunder er krævende, så lad os bare sige, at seriøse gamere ikke nødvendigvis er en tålmodig flok, når det gælder spillets ydeevne og brugeroplevelsen.

Det fungerede godt at køre spilserverarbejdsbelastninger fra Hathoras cloudbaserede platform for mindre studier. Men da et større studie kontaktede virksomheden om priser, indså Harsh og teamet begrænsningerne ved den økonomiske model.

“Vi vidste, at vi havde en udfordring, der skulle håndteres, da et stort spilstudie, som brugte vores platform til hosting af spilservere til interne spiltests, spurgte til prisen for lanceringen,” fortalte Harsh os. “Deres forventede båndbreddeudgift løb op i over en million dollars om måneden.”

Det var fire gange de normale forventede beregningsomkostninger ved at køre spillet, ifølge Harsh. Det var ikke bæredygtigt for hverken studiet eller Hathora. Det bragte Hathora til et såkaldt skillepunkt: fortsætte med den oprindelige cloudbaserede strategi, men risikere at miste segmentet med store studier, eller foretage en ændring.

“Problemet, der skulle løses, var prissætningen, så enkelt er det,” siger Harsh.

Løsningen var dog teknisk: Hathora var nødt til at omdanne sin egen infrastruktur, så den bedre kunne imødekomme de unikke krav til spilserverarbejdsbelastninger, samtidig med at virksomheden indførte en prismodel, som selv de største studier nemt kunne tage i brug.

Hvad de gjorde ved det, og hvorfor

Teknologifolk af alle slags har hørt masser af præsentationer om fordelene ved at flytte infrastruktur og arbejdsbelastninger til skyen eller ganske enkelt lancere en virksomhed, der kun bruger skyen. Det har været en markant tendens i årevis, og Hathora var ingen undtagelse.

Hathora bevægede sig næsten i den modsatte retning for at løse problemet med store kunder ved at indføre en hybrid sky-arkitektur og i sidste ende satse stort på en gammel kending: fysiske servere uden virtualisering. 

(Læs vores artikel om denne nyere tendens med at flytte ud af skymiljøer og over i lokal infrastruktur.)

Harsh fortæller om virksomhedens udvikling:

“Vi skiftede til en hybridmodel og fulgte infrastrukturomkostningerne pr. samtidige session, lateneydelsen på tværs af globale regioner og den tekniske indsats, der krævedes for at drive det hele. Ved at flytte 80 % af vores arbejdsbelastninger til fysiske servere uden virtualisering kan vi næsten halvere beregningsomkostningerne og reducere båndbreddeomkostningerne med mere end 90 %. Vi administrerer nu over 30.000 kerner på tværs af 14 regioner med et relativt lille teknisk team. Det effektivitetsniveau og den rækkevidde ville have været umulig med vores oprindelige arkitektur.”

De benytter stadig skyinfrastruktur til skalerbarhed og efterspørgselsstigninger, hvilket tegner sig for cirka 20 % af arbejdsbelastningerne (i stedet for 100 %). Hathoras teknologistak er dog nu baseret på ressourcer fra to udbydere af fysiske servere uden virtualisering samt AWS- og GCP-skyressourcer i stedet for at have alt på AWS. Harsh og teamet valgte Talos Linux, en minimalistisk distribution, der er specifikt designet til Kubernetes-miljøer, samt Omni (også fra Sidero Labs) til orkestrering fra ét kontrolplan på tværs af de hybride miljøer.

Det siger sig selv, at det ikke var så enkelt som at tænde eller slukke på en lyskontakt. Der var desuden fordele og ulemper, der skulle overvejes. Det hjalp Hathora med at lancere hurtigt og succesfuldt, da virksomheden oprindeligt valgte kun at bruge skyen. At bevæge sig væk fra den model betød, at man i hvert fald i begyndelsen måtte opgive nogle af de fordele, som skyen tilbyder:

“En ændring betød, at vi måtte give afkald på mange af de bekvemmeligheder, som skyplatforme tilbyder,” siger Harsh. “Vi ville miste nem autoskalering, indbygget overvågning og administrerede tjenester. Det øgede den driftsmæssige kompleksitet. Vi var også nødt til at bevise, at vi kunne matche eller overgå skyens ydeevne. Der var ingen garanti for, at vi ville finde leverandører eller værktøjer, der fungerede på den måde, vi havde brug for. Men vi mente, at det var afgørende for vores forretningsmodel at få omkostninger og ydeevne under kontrol, og vi var klar til at løbe den risiko.”

Satsningen betaler sig og baner vejen for den næste fase af Hathoras vækst: Virksomheden betjener nu kunder på seks kontinenter. Den kan levere den samme kritiske infrastruktur til de største studier til en markant lavere pris end tidligere. Den tilbyder også mere detaljeret kontrol over de unikke krav til spilbaserede arbejdsbelastninger (det er også en væsentlig fordel ved software til kravstyring) ved at give kontrol på nodeniveau med Talos Linux og samlet klyngeorkestrering med Omni, uanset hvor arbejdsbelastningerne kører.

“Disse værktøjer er minimalistiske, sikre og nemme at drive på tværs af forskellige infrastrukturtyper,” siger Harsh. “Vi evaluerede vores teknologistak ud fra ydeevne, omkostninger og hvor meget kontrol vi ville bevare. Den nye opsætning gør det muligt for os at drive forretningen med et lille team og skalere globalt uden at være bundet til en enkelt leverandør.”

Hathoras lille tekniske team er i sandhed blevet en slags uofficiel KPI. Det opnåede øjeblikkelige forbedringer i ydeevne og omkostninger efter migreringen af den første komplette region til hybridmodellen og skalerede efterfølgende hurtigt (teamet driver nu 14 regioner rundt om i verden).

“Hver gang nogen finder ud af, at vores infrastruktur administreres af blot nogle få ingeniører, er det et øjeblik, der understreger, hvor langt vi er nået.”

Vigtigste indsigter & lærte lektioner

Du behøver ikke arbejde i den digitale infrastruktur- eller videospilbranche for at anvende lignende principper og erfaringer i din egen virksomhed.

• Lyt til dine kunder: Harsh og teamet indså, at de havde et problem – og at de var nødt til at være proaktive for at løse det – ved at lytte til deres kunder, især det store studie, der havde brugt Hathora til intern testning og senere bad om prisoverslag, hvis de kørte det faktiske spil på platformen. CTO'er er lige så ansvarlige for at løse kundernes problemer, som de er for at opbygge teknologiske løsninger – de to ting går hånd i hånd.

• Vær ikke bange for at skifte kurs. “Cloud-først”, “cloud-native” og lignende begreber bør behandles som fleksible strategier, ikke som hellige dogmer. Det samme princip gælder bredt: Bare fordi du starter med en bestemt strategi, betyder det ikke, at du skal holde fast i den for altid. Hathora kunne have stået fast og forblive helt i skyen, men det ville have begrænset virksomhedens vækstpotentiale og i sidste ende ydeevnen for de spil, der kørte på dens infrastruktur.

Skiftet til en hybridmodel gjorde det muligt for virksomheden at betjene kunder i alle størrelser og forbedre ydeevnen takket være større fleksibilitet og kontrol ved håndteringen af de specifikke krav til spilbelastninger. Hathora har siden kunnet lancere et virksomhedsniveau, der giver de største studier forudsigelige priser og stærke garantier for ydeevnen.

• Vær grundig i din analyse. Denne form for transformation kan ikke gennemføres ved gætværk. Harsh og teamet gennemførte en fuld konceptafprøvning med Talos og Omni for at sætte deres strategiske skifte på prøve:

"Da vi havde valideret, at vi kunne orkestrere alt gennem ét system, migrerede vi vores første fulde region. Ydeevneforbedringerne kom med det samme. Derfra rullede vi modellen ud globalt og tilføjede leverandører og lokationer undervejs,” sagde Harsh.

Den analyserede fordele og ulemper – herunder det indledende tab af fordelene ved skyen, som Harsh beskrev ovenfor – for at minimere overraskelser. Den vidste, at den skulle finde en Kubernetes-venlig løsning, der kunne orkestrere alt på tværs af flere miljøer og regioner og i praksis behandle alle maskiner ens, uanset om de kørte på fysiske servere eller i en sky.

Harsh bemærkede, at de også gik i dybden med leverandørbenchmarking, sammenlignede AMD- og Intel-CPU'er, testede netværksydeevne i virkelige scenarier og evaluerede leverandørerne ud fra, hvor godt de klarede sig sammenlignet med AWS’ Global Accelerator. 

“Vi sikrede os, at vores nye opsætning ikke bare var billigere, men også hurtigere og mere pålidelig i de regioner, der betød noget.”

• Tænk langsigtet: Transformative ændringer i retningen som denne handler ikke kun om at løse enkeltstående problemer. Hvis de gennemføres rigtigt, åbner de op for flere og flere muligheder fremover. Den langsigtede tilgang bærer allerede frugt for Hathora. De fortsætter med at udvikle nye funktioner til større studier, såsom dedikerede klyngemuligheder, regional peering for overdragelser med lav latenstid og forbedret overvågning under livebegivenheder.

Harsh sagde også, at Hathoras nye infrastrukturmodel til spil viser et potentielt værdifuldt anvendelsesområde i andre brancher, der kræver respons i realtid og høj datagennemstrømning, og virksomhedens langsigtede plan er at udrulle nye løsninger til udviklere uden for spilbranchen.

“Overgangen til en hybridmodel gav os langsigtet fleksibilitet. Vi kan nu hurtigt gå ind i nye regioner, teste nye hardwareleverandører uden leverandørbinding og give kunderne mere kontrol over, hvordan deres infrastruktur implementeres. Platformen er blevet langt mere modulær og tilpasningsdygtig.”

Hvis du vil have flere casestudier og drejebøger, kan du tilmelde dig The CTO Clubs nyhedsbrev.