De 10 beste verktøyene for svartboks-testing vurdert for 2026

Anmeldelser av de beste verktøyene for svartboks-testing

1. 

   1

   TestMu AI

   Best for testing av private apper bak brannmurer

   • Gratisabonnement + 14 dagers gratis prøveperiode + gratis demo tilgjengelig
   • Fra $39/måned

   Visit Website

   Customer Rating:4.9/5This rating combines scores from multiple user review sites to reflect overall customer sentiment about the product.

   

   • 
   • 

   TestMu AI er en KI-basert skytestplattform som kjører automatiserte svartbokstester på tvers av nett- og mobilapplikasjoner, med støtte for rammeverk som Selenium, Playwright, Cypress og Appium på et parallelt kjøringsnettverk som omfatter 3,000+ nettleser- og enhetsmiljøer.

   Hvem passer TestMu AI best for?

   TestMu AI passer godt for DevOps- og QA-team som trenger å teste nett- og mobilapper som kjører bak brannmurer eller på private nettverk.

   Hvorfor valgte jeg TestMu AI?

   Jeg valgte TestMu AI som en av de beste fordi den sikre tunnelen krypterer trafikken fra skyens kjøringsnettverk tilbake til apper som kjører på private nettverk eller bak brannmurer, slik at testserien din kan nå et internt stagingmiljø uten å eksponere det offentlig. I tillegg distribuerer HyperExecute de samme testkjøringene på private nettverk parallelt, mens selvreparerende lokatorer finner ødelagte elementbaner på nytt under kjøring og holder rørledningene i gang selv når appens brukergrensesnitt endres.

   Viktige funksjoner i TestMu AI

   • Kjøringsnettverk på tvers av nettlesere: Kjør automatiserte tester på tvers av 3,000+ kombinasjoner av nettlesere og operativsystemer, inkludert Chrome, Firefox og Edge på Windows, macOS og Linux.
   • Sky for fysiske enheter: Kjør tester av nett- og innebygde apper på fysiske Android- og iOS-enheter, med tilgang til GPS-simulering, kamerainjeksjon, biometri og frakoblet modus.
   • Kontrollpanel for testanalyse: Se teststatus, trender for ustabile tester, feilfordelinger og samtidighetsdata på tvers av testkjøringene dine fra ett enkelt kontrollpanel.
   • 120+ integrasjoner: Koble direkte til CI/CD-verktøy som Jenkins, GitLab CI og Azure Pipelines, samt feilsporere som Jira, GitHub og Azure DevOps.

   TestMu AI-integrasjoner

   TestMu AI oppgir 120+ integrasjoner, inkludert Jenkins, GitLab CI, Azure Pipelines, Jira, GitHub, Azure DevOps, Slack og CircleCI. REST API-er støtter tilpassede integrasjoner for rørledninger og testing.

   Pros and Cons

   Pros:

   • Sikker tunnel tester apper bak brannmurer
   • Bred dekning av nettlesere og fysiske enheter
   • Videoer og HAR-logger gjør feilsøking enklere

   Cons:

   • Strukturert sakshåndtering krever et separat produkt
   • Økter på fysiske enheter kan mislykkes eller bli frakoblet
   Learn more about TestMu AI:

   • Check out TestMu AI on their website
   • Read my in-depth review of TestMu AI
2. 

   2

   QA Wolf

   Best for menneskeledet svartbokstesting

   • Gratis demo tilgjengelig
   • Priser på forespørsel

   Visit Website

   Customer Rating:4.9/5This rating combines scores from multiple user review sites to reflect overall customer sentiment about the product.

   

   QA Wolf er en automatisert hybridtestplattform og -tjeneste utviklet for å forenkle og forbedre kvalitetssikringsprosessen for nettapplikasjoner. Den tilbyr svartbokstesting og automatiserer ende-til-ende-tester, slik at applikasjoner fungerer korrekt fra brukerens perspektiv.

   Hvorfor jeg valgte QA Wolf: QA Wolf tilbyr en unik kombinasjon av automatisering og menneskelig oppfølging. Plattformen muliggjør automatiserte ende-til-ende-tester som etterligner ekte brukerinteraksjoner med applikasjonen. Denne tilnærmingen sikrer at alle kritiske brukerflyter testes grundig uten at det kreves innsikt i den underliggende koden. I tillegg tilbyr QA Wolfs menneskelige QA-ingeniører løpende støtte, prioritering og vedlikehold av tester, noe som sikrer pålitelighet og reduserer belastningen på utviklingsteamene. 

   Fremtredende funksjoner i QA Wolf:

   • Plattformen kjører tester parallelt, noe som reduserer testtiden og fremskynder tilbakemeldingssløyfene.
   • Gir detaljerte feilrapporter med videogjennomganger og sporingslogger, slik at utviklere enkelt kan diagnostisere og løse problemer.
   • Støtter et bredt spekter av testscenarier, inkludert brukergrensesnittinteraksjoner, API-testing og integrasjoner med tredjepartstjenester
   • Døgnkontinuerlig støtte fra QA-ingeniører som gjennomgår mislykkede tester og vedlikeholder testserier, noe som sikrer jevn kvalitet.

   Integrasjoner med QA Wolf: Jenkins, CircleCI, GitHub, Jira, Asana, Linear og flere.

   Pros and Cons

   Pros:

   • Automatiserte ende-til-ende-tester
   • Alle feil verifiseres av mennesker
   • Enkelt å kommunisere og samarbeide med QA Wolf-teamet

   Cons:

   • Ikke ideelt for team som ønsker full kontroll over testprosessen
   • Begrenset fleksibilitet ved tilpasning av tester
   Learn more about QA Wolf:

   • Check out QA Wolf on their website
   • Read my in-depth review of QA Wolf
3. 

   3

   Reflect

   Best for KI-drevet testvedlikehold

   • 14 dagers gratis prøveperiode
   • Fra $212/måned

   Visit Website

   Customer Rating:4.8/5This rating combines scores from multiple user review sites to reflect overall customer sentiment about the product.

   

   Reflect er en svartboks-testplattform som hjelper deg med å automatisere funksjonelle tester uten at du trenger tilgang til eller forståelse av den interne koden. Bruken av generativ KI lar deg opprette tester ved ganske enkelt å beskrive brukerinteraksjoner på naturlig språk. Plattformen tolker disse inndataene og genererer tester som utelukkende fokuserer på atferd og resultater, i tråd med prinsippene for svartbokstesting.

   Hvorfor jeg valgte Reflect: Jeg valgte Reflect fordi den fjerner all gjetting og teknisk merarbeid fra testopprettingen. I stedet for å håndtere ustabile selektorer eller skriptramverk kan du skrive hva du vil teste og la verktøyet håndtere resten. Det er spesielt nyttig når målet er å validere hvordan appen din oppfører seg utenfra – det brukerne faktisk ser og gjør. Reflect tilbyr også KI-drevet vedlikehold som automatisk tilpasser testene når brukergrensesnittet endres, slik at du slipper det manuelle arbeidet.

   Fremtredende funksjoner i Reflect:

   • Gjør instruksjoner på vanlig norsk eller engelsk om til testtrinn – du trenger ikke XPath eller selektorer
   • Kombiner visuelle kontroller og API-validering i én enkelt test
   • Oppdaterer automatisk testene etter hvert som appens brukergrensesnitt utvikler seg
   • Planlegg tester og motta sanntidsvarsler om feil via Slack eller e-post
   • Bruk parameteriserte inndata for å dekke flere scenarier uten å duplisere arbeidet

   Integrasjoner med Reflect: GitHub, Slack, Jira, Jenkins, CircleCI, Azure DevOps, Linear, Bitbucket, Codefresh.

   Pros and Cons

   Pros:

   • Omfattende CI/CD-integrasjon
   • KI-drevet testvedlikehold
   • Testoppretting uten kode

   Cons:

   • Kunne tilby flere tilpasningsmuligheter for testkonfigurasjoner
   • Begrensninger ved testing av mobilapper
   Learn more about Reflect:

   • Check out Reflect on their website
4. 

   4

   Squish

   Best for testing av grafiske brukergrensesnitt (GUI-er) som svarte bokser

   • Gratis prøveperiode tilgjengelig
   • Pris oppgis på forespørsel

   Visit Website

   Customer Rating:4.3/5This rating combines scores from multiple user review sites to reflect overall customer sentiment about the product.

   

   Squish fra Froglogic er et automatisert testverktøy som retter seg mot grafiske brukergrensesnitt (GUI-er) og menneske-maskin-grensesnitt (HMI-er). Det er derfor ideelt for dem som ønsker å teste en applikasjons visuelle funksjoner og elementer.

   Hvorfor jeg valgte Froglogic Squish: Verktøyet gir testere og DevOps atferdsdrevet utvikling (BDD) og testing. Det støtter også testing med smidige metoder, noe som bidrar til bedre samarbeid mellom tekniske og forretningsmessige interessenter. I tillegg til IDE-en har det robust kompatibilitet på tvers av plattformer og enheter, med GUI-tester for stasjonære enheter, mobile enheter, innebygde systemer og nettet.

   Sannsynligvis på grunn av den høye prisen er verktøyet populært blant bedriftsbrukere. Det tester ulike plattformer og operativsystemer, inkludert programmeringsspråk som Python, JavaScript, Perl, Ruby og Tcl. 

   Froglogic Squish – fremtredende funksjoner

   • Funksjonene omfatter refaktorering av skript for ulike bruksområder ved hjelp av Squish-verifiseringspunkter, samt muligheten til å utføre bildesammenligninger for å validere tabellverdier. 
   • Du kan opprette, feilsøke og redigere tester i Squish IDE. Det inneholder også kraftige funksjoner som opptak og avspilling, samt bildebasert og objektbasert gjenkjenning.
   • Med sin omfattende dokumentasjon og sitt tilpassbare kvalifiseringsverktøy, som sikrer at testprosessene oppfyller sikkerhetsstandarder, lar Froglogic Squish deg kjøre testserier på en pålitelig måte. 
   • Froglogic Squish integreres sømløst med og legger til rette for applikasjoner som bruker flere teknologier fra mer enn ett verktøysett. Disse omfatter blant annet iOS, Android, innebygde systemer (Qt, Windows, Java), Java, AWT, Swing, SWT, RCP, JavaFX, Windows og Mac.

   Froglogic Squish – integrasjoner: Squish fra Froglogic støtter rammeverk og plattformer som Windows, Android, iOS, Qt, nett, HTML5, Flex, Java-appleter, Java og mer.

   Pris: Squish Tester-flytende lisens koster $589/måned, betalt årlig. En gratis prøveperiode på 10 dager er tilgjengelig uten krav om kredittkort.

   Pros and Cons

   Pros:

   • Støtter lydopptak av testskript
   • Utstyrt med et sentralisert dashbord og overvåkingssystem
   • I tillegg til å fungere med mer obskure Qt-applikasjoner kan det brukes på tvers av Windows og Mac

   Cons:

   • Krever mye tid på grunn av den manuelle testingen
   Learn more about Squish:

   • Check out Squish on their website
5. 

   5

   Gremlin

   Best for svartbokstesting av mikrotjenester og containerbaserte applikasjoner

   • 14 dagers gratis prøveperiode + gratis demo tilgjengelig
   • Pris oppgis på forespørsel

   Visit Website

   Customer Rating:4.5/5This rating combines scores from multiple user review sites to reflect overall customer sentiment about the product.

   

   Gremlin er et automatiseringsrammeverk for systematisk testing og resilienstesting basert på kaostesting, en underkategori av kaosteknikk. Det er utviklet for den moderne databehandlingsæraen, ettersom det er nyttig for testing av skyapper, mikrotjenester og containerbaserte applikasjoner.

   Hvorfor jeg valgte Gremlin: verktøyet bryter med hensikt ting i appen som testes, og lærer deretter hvordan den kan gjøres robust. Dette gjør det ved å utføre tester som lar testere manipulere meldinger mellom tjenester på nettverksnivå. 

   Verktøyets tilnærming uten regresjoner bidrar til å minimere tjenesteforstyrrelser og kodetilbakerullinger som vanligvis følger med lite robuste programvareprodukter. 

   Fremtredende funksjoner i Gremlin

   • Testing av funksjoner for feilhåndtering i skyinfrastruktur og applikasjoner som containere og mikrotjenester.
   • Gremlins testautomatisering lar deg teste hvert applikasjonslag i infrastrukturen grundig, inkludert trygg stans og automatisk tilbakerulling.
   • Det leveres med et godt dokumentert API og CI/CD, slik at du raskt kan klargjøre kvalitetskode for lansering ved å kjøre tester som forsterker systemets pålitelighet.  
   • Med Gremlin kan du bruke et sett med 12 kaostekniske eksperimenter for å teste svakheter i et underliggende system.

   Gremlin-integrasjoner: Gremlin integreres med LoadRunner Professional 2022. 

   Pris: Prisen for Gremlin starter på $300 per måned per tjeneste. En gratis prøveperiode på 30 dager er tilgjengelig.

   Pros and Cons

   Pros:

   • Testingen bidrar til bedre resultater på tvers av teknologistakken din
   • Gir ingeniørteam pålitelig testing med høy gjennomføringshastighet
   • Enkel å lære og bruke

   Cons:

   • Gremlin tilbyr bare begrenset støtte for kaosinjeksjon i lokale installasjoner
   Learn more about Gremlin:

   • Check out Gremlin on their website
6. 

   6

   IBM Rational Functional Tester (RFT)

   Best for å lage testskript for svart boks med en testopptaker

   • Gratis demo tilgjengelig
   • Pris på forespørsel

   Visit Website

   

   IBM Rational Functional Tester er et automatisert testrammeverk fra IBM for regresjonstesting, funksjonstesting og testing av grafiske brukergrensesnitt. Det kan brukes med ulike programmeringsspråk og miljøer, som Java, AJAX, Power Builder, SAP, .Net, Dojo Toolkit og Siebel, samtidig som det støtter både nettbaserte applikasjoner og applikasjoner basert på terminalemulatorer.

   Hvorfor jeg valgte IBM Rational Functional Tester: Verktøyet gir testingeniører mulighet til å ta opp, spille av og eksportere testskript med agenter for robotisert responstid. I tillegg tilbyr det intelligente funksjoner for vedlikehold av skript og ulike tilpasningsmuligheter. 

   Når manuell testing ikke kan skaleres effektivt, er RFT ideelt for et bredt spekter av scenarioer. Det er nyttig for virksomheter og organisasjoner av ulike typer, fra frilansere og små og mellomstore bedrifter til store virksomheter. Verktøyet har rapporteringsfunksjoner som støtter kommunikasjon og samarbeid i hybride miljøer. 

   Fremtredende funksjoner i RFT

   • IBM Rational Functional Tester tilbyr funksjoner for ende-til-ende-testing av tilsynelatende ulike systemer, noe som gir QA-team et bredt testomfang. Det gir fleksibilitet til å teste eldre og moderne applikasjoner i ulike forretningsscenarioer.
   • RFT legger til rette for kortere testsykluser fordi det gjør det mulig for testingeniører å gjenbruke de samme testene med ulike datasett.
   • RFTs avanserte funksjoner for testskripting ligner på funksjonene i Rational Performance Tester. De lar deg vise og analysere responstid, hendelser og andre måleverdier under avspilling. Med ScriptAssure-teknologien kan du håndtere hyppige endringer i brukergrensesnittet på en bemerkelsesverdig måte uten store kostnader til vedlikehold. 

   Fremtredende integrasjoner i RFT: RFT tilbyr integrasjoner med andre IBM-produkter, som IBM Jazz®-integrasjon, som støtter samarbeidende administrasjon av applikasjoners livssyklus. Det integreres også med ikke-opprinnelige meldingsløsninger for virksomheter, for eksempel JMS og TIBCO EMS.

   Pris: Pris er kun tilgjengelig på forespørsel. RFTs startutgave er gratis.

   Pros and Cons

   Pros:

   • Fungerer godt med stormaskiner
   • Mulighet til enkelt å bytte mellom språk og plattformer
   • Tilbyr pålitelig testing i stor skala

   Cons:

   • Det er vanskelig å oppnå optimale resultater med komplekse Java-applikasjoner.
   Learn more about IBM Rational Functional Tester (RFT):

   • Check out IBM Rational Functional Tester (RFT) on their website
7. 

   7

   Selenium IDE

   Beste automatiserte IDE for registrering og avspilling

   • Gratis
   • Åpen kildekode og gratis

   Visit Website

   

   Selenium IDE er et integrert utviklingsmiljø med åpen kildekode og funksjoner for automatisert testing. Det er et nøkkelferdig, nettklart verktøy som gir enkel feilsøking med funksjonene for registrering og avspilling. 

   Hvorfor jeg valgte Selenium IDE: Ved å registrere samhandlingen din med nettsteder lar verktøyet deg sømløst generere tester for automatisering av nettsteder. Verktøyets funksjoner eliminerer behovet for at utviklere må gjenta disse manuelle trinnene i programmeringsmiljøet. I tillegg lar det DevOps-team og testere administrere disse handlingene ved å registrere, redigere og feilsøke tester.  

   Som et tillegg til testmiljøet ditt er verktøyet lettvektsbasert og tilbyr nettleserutvidelser med minimalt ressursforbruk og digitalt fotavtrykk. 

   Fremtredende funksjoner i Selenium IDE

   • Opprett, administrer og organiser testtilfeller og testpakker for enkel utrulling av testteam.
   • Mulighet til å kjøre tester på tvers av nettlesere ved hjelp av Selenium WebDriver
   • Kjør robuste tester som kan registreres og kjøres fra flere lokaliseringsmetoder for hvert element
   • Sømløs registrering og avspilling i populære nettlesere som Chrome og Firefox
   • Lagre skript og laste dem inn for kjøring ved behov
   • Lar deg gjenbruke ett testtilfelle i et annet og gir hastighetskontroll 

   Integrasjoner i Selenium IDE: I tillegg til nettleserpluginene sine integreres Selenium IDE med Jenkins, Azure DevOps og IntelliJ. 

   Priser: Selenium IDE har åpen kildekode og er gratis.

   Pros and Cons

   Pros:

   • Gir fleksibilitet til å skrive avanserte tester
   • Det krever ikke noe programmeringsspråk å bruke det
   • Enkel å bruke

   Cons:

   • Det støtter ikke datadrevet testing.
   Learn more about Selenium IDE:

   • Check out Selenium IDE on their website
8. 

   8

   SilkTest

   Beste verktøy for automatisert svartboks-testing av regresjons- og funksjonstesting

   • Gratis demonstrasjon
   • Pris på forespørsel

   Visit Website

   

   Silk Test er et verktøy for automatisert testing fra Micro Focus International. Det er utviklet for å utføre regresjons- og funksjonstesting effektivt. Gjennom testing på tvers av plattformer og nettlesere har det som mål å tilby samarbeidende testdesign for å sikre et komplett testomfang.

   Hvorfor jeg valgte Silk Test: I tillegg til portabiliteten opprettholder verktøyet strenge kvalitetsstandarder med lavere kompleksitet. Verktøyets samarbeidende testing gjør det også mulig for forretnings- og tekniske grupper i en organisasjon å samarbeide mer effektivt. 

   Brukere kan utnytte både manuelle og automatiserte testfunksjoner for nett-, mobil- og virksomhetsapplikasjoner. Verktøyet gjør det også mulig å teste nettlesere på datamaskiner og mobile enheter ved hjelp av Selenium-skript for å registrere trinn.

   Fremtredende funksjoner i Silk Test

   • Silk Test gjør det mulig å støtte pipelineene dine for kontinuerlig integrasjon (CI) og kontinuerlig utrulling (CD). Containere kan granskes med parallell og containerbasert testing. 
   • Ved å bruke kommandoen Registrer testtilfelle i Silk Test kan testere registrere handlinger og verifiseringstrinn mens de navigerer i applikasjonen som testes. Silk Test tilbyr forbedrede funksjoner for gjenbruk av moduler, slik at manuell testing kan gjennomføres med skriptfiler som kan inneholde ett eller flere relaterte testtilfeller. 
   • I stedet for å opprette flere testpakker for ulike miljøer lar Silk Test deg bruke ett enkelt testskript til å gjennomføre tester av nett-, datamaskin- og nettleserapplikasjoner. 
   • Med Silk Tests visualisering av serverdelen kan testere spare tid samtidig som de lager realistiske simuleringer av tjenesteatferd. 

   Integrasjoner med Silk Test: Testteam bruker Silk Test på mobil- og datamaskinplattformer som Java, DOM, iOS, Android og Firefox.

   Pris: Prisen tilpasses og er tilgjengelig på forespørsel. En gratis demonstrasjon er tilgjengelig.

   Pros and Cons

   Pros:

   • Støtter testing på tvers av plattformer og nettlesere
   • Enkelt og intuitivt å bruke
   • Hastighet og kvalitet med kontinuerlig testing

   Cons:

   • Et komplekst oppsett som kan forvirre brukere uten teknisk erfaring
   Learn more about SilkTest:

   • Check out SilkTest on their website
9. 

   9

   QTP/UFT

   Beste automatiserte testverktøy med minimal systemovervåking

   • Prisopplysninger på forespørsel

   Visit Website

   

   QTP/UFT er utviklet for å fungere uten at overvåkingssystemer trenger å gripe inn. Det er utviklet av Micro Focus og fokuserer på funksjonell testing, regresjonstesting og tjenestetesting.

   QTP/UFT (Unified Functional Testing) er beregnet på både tekniske og ikke-tekniske brukere. Dette enhetlige testparadigmet tester både front-end- og back-end-komponentene i et system og støtter både GUI- og API-testing ved hjelp av virtualiserte fasiliteter. 

   Fremtredende funksjoner i QTP/UFT

   • QTP/UFT gjør det mulig for brukere å automatisere handlinger og deretter identifisere og teste feil i sanntid. 
   • Testaktiviteter uten å overvåke systemet med jevne mellomrom, samtidig som handlingene utføres enhetlig for ulike brukere, datasett og nettlesere på Windows-operativsystemer.
   • QTP/UFT tilbyr alle tjenester i et felles IDE, inkludert GUI-testing og testing uten GUI ved hjelp av API-tjenestetesting. 
   • QTP/UFT bruker VB Script som skriptspråk.

   QTP/UFT-integrasjoner: QTP/UFT bruker ALM til å integreres med andre HP-produkter. Det integreres også med SAP og Oracle.

   Pris: QTP/UFT leveres på forespørsel.

   Pros and Cons

   Pros:

   • Muliggjør både API- og GUI-testing
   • Krever ingen eller minimal overvåking for å fungere effektivt

   Cons:

   • Begrenset til skrivebordsapplikasjoner og Windows-operativsystemet
   • Utførelsestiden er relativt lang sammenlignet med andre testverktøy
   Learn more about QTP/UFT:

   • Check out QTP/UFT on their website
10. 

    10

    AutoHotkey

    Beste automatiseringsverktøy for oppretting av Windows-makroer for tastatur- og musefunksjoner

    • Gratisabonnement tilgjengelig
    • Åpen kildekode og gratis

    Visit Website

    

    AutoHotkey er et gratis skriptverktøy med åpen kildekode som lar deg automatisere gjentakende oppgaver. Verktøyet er utviklet for Microsoft Visual Studio Community 2022 og er lett, raskt og stabilt. 

    Hvorfor jeg valgte AutoHotkey: Som programvare for oppretting av makroer lar verktøyet deg enkelt sende brukergenererte museklikk og tastetrykk til et program. I tillegg til å redusere dataregistreringsoppgaver gjør verktøyet det mulig for utviklere å utføre avanserte oppgaver, for eksempel å opprette skjemautfyllere. AutoHotkey kan dessuten programmeres fullt ut og støtter ulike konsepter som matriser, tabeller og komponentobjektmodeller (COM). 

    Fremtredende funksjoner i AutoHotkey

    • Med skriptene og makroene sine lar AutoHotkey brukere tilpasse snarveier og endre tastetilordninger med lettvektsautomatisering.
    • Du kan opprette små og komplekse skript for å utføre ulike produktivitetsoppgaver, for eksempel skjemaer for brukerregistrering. 
    • Den interne språkkommandoen lar deg tolke skriptfiler med programmeringsparadigmer som objektorientering, prosedyreorientert programmering og kommandobasert programmering. 
    • AutoHotkey lar deg strukturere skriptene som uavhengige moduler, særlig med delrutiner som funksjoner, hurtigtekster og hurtigtaster med bærbare autokjøringsseksjoner. 

    Integrasjoner med AutoHotkey: AutoHotkey kan integreres med plattformer som Git, VSCode og PowerShell.

    Pris: AutoHotkey har åpen kildekode og er gratis.

    Pros and Cons

    Pros:

    • Kan programmeres fullt ut
    • God dokumentasjon
    • Kraftig, men enkelt å lære

    Cons:

    • Det tilbyr ikke innebygde kompilatoralternativer som lignende makroprogramvare
    Learn more about AutoHotkey:

    • Check out AutoHotkey on their website