Ključno ukratko
- Redundansa ima slojeve: izvor, proces, server, lokacija i operacije. Svaki traži sopstveno rješenje.
- Failover izvora mora se zasnivati na stvarnim provjerama kvaliteta, a ne samo na tome „da li je konekcija otvorena".
- Edge čvorovi sa lokalnom replikom baze nastavljaju da služe gledaoce kada glavna lokacija nije dostupna.
- Nadzor sa alarmima bez duplikata i kontrolisana, postepena ažuriranja takođe su dio dostupnosti.
Mapirajte pojedinačne tačke otkaza
Počnite tako što ćete pratiti kanal od izvora do gledaoca i na svakom koraku pitati „šta se dešava ako ovo nestane?" Tipične pojedinačne tačke otkaza u isporuci uživo su:
- jedan contribution signal ili satelitski prijemnik po kanalu;
- jedan enkoder ili strimer proces koji obrađuje kanal;
- jedan strimer server koji nosi sve gledaoce regiona;
- jedan server za upravljanje i baza od kojih zavisi svaki zahtjev za reprodukciju;
- jedan data centar, jedan upstream provajder ili jedno DNS ime.
Ne treba svaka tačka punu redundansu — ali za svaku tačku treba svjesna odluka i dokumentovan put oporavka.
Failover sa više izvora
Najčešći otkazi dešavaju se na izvoru: signal se zamrzne, izgubi zvuk ili nestane. Odbrana je podešavanje više izvora po kanalu — na primjer primarni multicast signal i jedan ili više rezervnih od drugog provajdera ili drugim putem.
Kada primarni otkaže, platforma se automatski prebacuje na sljedeći ispravan izvor. Dva detalja prave razliku u praksi:
- Automatski povratak. Kada primarni ponovo postane ispravan, kanal treba da se vrati na njega, da rezervni izvori ne bi nosili saobraćaj neograničeno.
- Neprimjetnost. Izlaz treba da ostane jedan kontinuiran strim za plejere, pa gledaoci u najgorem slučaju vide kratak trzaj, a ne prekid.
Korak dalje je „uzmi najbolji izvor": neprestano ocjenjivanje svih izvora i držanje najboljeg u eteru, što pomaže kada je primarni tehnički živ, ali degradiran.
Šta dobar watchdog mjeri
Izvor koji isporučuje bajtove nije nužno ispravan izvor. Efikasne provjere zdravlja gledaju sadržaj strima:
| Provjera | Šta otkriva |
|---|---|
| Video prisutan i napreduje | Zamrznutu sliku, nedostajuću video traku |
| Audio prisutan | Kanale bez zvuka, izgubljenu audio traku |
| Broj sličica | Trzanje ili ispuštene frejmove na izvoru |
| Brzina obrade | Izvore ili procese koji zaostaju za realnim vremenom |
| Bitrate i kontinuitet | Izgladnjele ili prekinute signale |
Pragovi traže histerezu: provjera treba da potvrdi problem kroz kratak vremenski prozor prije reakcije i da potvrdi oporavak prije povratka, kako bi se izbjeglo stalno skakanje između izvora.
Edge čvorovi i HA na nivou lokacije
Redundansa izvora ne pomaže ako sam server za upravljanje postane nedostupan. U mnogim arhitekturama svaki zahtjev za reprodukciju se autorizuje prema centralnoj bazi; ako ta lokacija padne, pogođeni su svi gledaoci iako su strimer serveri drugdje ispravni.
Edge čvorovi to rješavaju držanjem žive replike baze lokalno, sinhronizovane kroz šifrovani tunel. Ako glavna lokacija otkaže, edge čvorovi nastavljaju da autentifikuju gledaoce i služe kanale iz sopstvenih podataka. Kada se glavna lokacija vrati, replikacija se nastavlja i edge sustiže zaostatak. Važna svojstva dobrog dizajna:
- replikacija se nadzire, uz alarme kada edge zaostane ili izgubi sinhronizaciju;
- edge koji ne može doći do glavne lokacije i dalje služi, ali ne prihvata izmjene koje bi izazvale konflikt;
- resinhronizacija nakon prekida je automatska i vidljiva operaterima.
Load balancing i origin shield
Raspoređivanje gledalaca na više strimer čvorova uklanja usko grlo jednog servera i ograničava posljedice otkaza čvora. Balansiranje se može zasnivati na propusnom opsegu, broju korisnika ili ukupnom opterećenju; sticky sesije drže gledaoca na istom čvoru, a nove gledaoce treba da dobijaju samo ispravni čvorovi.
Origin shield — sloj reverse proxyja ispred jezgra — skriva adrese origina od javnosti, upija zlonamjeran saobraćaj i dodaje još jedan sloj koji se može skalirati nezavisno od jezgra.
Ažuriranja, nadzor i alarmi
Velik dio stvarnih prekida izazivaju izmjene, a ne hardver. Ažuriranja treba puštati čvor po čvor, sa primarnim na kraju, a verzije treba fiksirati i odobriti prije nego što stignu u produkciju — uz jasan način vraćanja na prethodnu verziju.
Nadzor zatvara krug: procesor, memorija, disk i mreža servera; zdravlje i istorija prekida po kanalu; i alarmi koji su potvrđeni i bez duplikata, tako da NOC dobije jednu smislenu poruku umjesto lavine alarma.
Lista za provjeru redundanse
- Najmanje dva nezavisna izvora za svaki važan kanal, uz automatski povratak.
- Provjere zdravlja koje gledaju sadržaj: video, audio, broj sličica, brzinu.
- Automatski restart procesa kanala koji su otkazali.
- Više od jednog strimer čvora po regionu, uz load balancing.
- Edge čvorovi sa repliciranom bazom za otkaze na nivou lokacije.
- Adrese origina zaštićene iza shield sloja.
- Postepena, odobrena ažuriranja sa mogućnošću vraćanja.
- Dnevni backup baze, uključujući kopiju van lokacije.
- Alarmi usmjereni dežurnima, uz potvrdu i bez duplikata.
Kako to rješava SaurusRex: kanali podržavaju više izvora sa neprimjetnim failoverom, automatskim povratkom i režimom „take best stream"; provjere zdravlja pokrivaju audio, video, broj sličica i brzinu, uz automatske restarte. Rescue me edge čvorovi drže živu repliku baze kroz šifrovani tunel uz nadzor sinhronizacije, a load balancing, origin shield, postepena ažuriranja sa release kanalima po licenci, dnevni backup i Telegram alarmi zaokružuju sliku. Pogledajte stranicu platforme.