Токіо в прямому ефірі: команда Netflix пояснює технологічні основи Live стрімінгу.

Уявіть собі, що найбільша подія в історії вже на носі, 65 мільйонів фанатів з нетерпінням чекають, серце б’ється швидше. Як забезпечити, щоб всі глядачі завжди могли вчасно побачити пряму трансляцію? Користувачі Netflix звикли до послуги на вимогу, кожен може вибрати зручний час для перегляду. Але з прямими трансляціями мільйони фанатів прагнуть мати можливість дивитися в режимі реального часу. Як Netflix гарантує, що члени не пропустять жодної захоплюючої миті? Коли кількість глядачів на місці б'є рекорди потокового відео, інфраструктура Netflix піддається остаточному тесту на міцність. Автор відвідав офіс Netflix у Токіо, де брав участь у презентації технічної команди, що пояснює технологічний фон прямої трансляції Netflix, нижче наведено основні моменти звіту.

Чим відрізняються Netflix Live і VOD?

Live та випадковий перегляд (Відео на вимогу скорочено VOD) відрізняються тим, що члени бажають миттєво переглядати прямі трансляції, що означає, що є лише дуже короткий час для рекомендації відповідних програм. Занадто раннє рекомендовання може зменшити відчуття збудження, занадто пізно з'явитися - пропустити чудові миті. Кожна секунда на рахунку.

Уважно сплановані миттєві рекомендації

Щоб захопити миттєве відчуття збудження, Netflix покращив свою систему рекомендацій, надаючи миттєві пропозиції, щоб забезпечити членам більш насичені та привабливі сигнали, які спонукають їх натискати на відтворення в найважливіші моменти. Які виклики? Як одночасно надсилати динамічні та своєчасні оновлення на більше ніж сто мільйонів пристроїв по всьому світу, адже ефект натовпу може перевантажити хмарні послуги. Просте лінійне масштабування не є ані ефективним, ані надійним. Для популярних подій це також може відволікати ресурси інших критично важливих сервісів. Netflix потребує більш розумного та масштабованого рішення, а не просто збільшення ресурсів, тому Netflix створив власну систему.

Оскільки мільйони пристроїв онлайн, розклад трансляцій може змінюватися в будь-який момент, як забезпечити ідеальну синхронізацію для всіх? Щоб вирішити цю проблему, Netflix створила систему, яка динамічно оновлює рекомендований контент у міру прогресу подій.

Netflix виявив, що потрібно збалансувати три обмежуючі умови:

Час: тривалість, необхідна для координації оновлень. Оптимізація пропускної здатності: можливості обробки хмарних сервісів. Базове обчислення: різні запити, необхідні для надання унікальних оновлень.

Розв'язання проблеми оптимізації шляхом поділу миттєвих рекомендацій на два етапи, попереднє завантаження необхідних даних, розподіл навантаження на більш тривалі часові інтервали, щоб уникнути пікових навантажень. Коли починається або закінчується трансляція, надсилається повідомлення з низьким обсягом до всіх підключених пристроїв.

Сцена дня змагань в режимі симуляції

Окрім створення нових технологій для підтримки миттєвих рекомендацій, Netflix також оцінює існуючі системи, виявляючи потенційні точки високого трафіку, використовуючи прогнози високого трафіку під час спортивних подій, генеруючи трафік, схожий на день змагань, і досліджуючи, як онлайн-сервіс реагує на ці раптові навантаження.

Щоб забезпечити стабільність трансляції, команда Netflix змоделювала сценарій “дня змагань”, тестуючи продуктивність серверів під екстремальним навантаженням. Виявилося, що навіть якщо основна система працює відмінно, перед і після трансляції можуть виникати несподівані піки трафіку, наприклад, одночасне закінчення терміну дії кешу чи велика кількість перерахунків. Щоб вирішити цю проблему, Netflix впровадила “механізм коливань терміну дії кешу”, що випадковим чином розподіляє час оновлення кешу, щоб уникнути заторів через централізоване оновлення. Одночасно Netflix також створила адаптивну систему пріоритетів трафіку, яка може автоматично направляти критичний трафік до кластерів з більшою масштабованістю під час пікових періодів і тимчасово знижувати пріоритет некритичних оновлень, щоб забезпечити стабільність трансляції.

Коли під час сеансу запитань і відповідей запитали, як Netflix може реагувати, якщо Amazon Web Services виходить з ладу, команда відповіла, що у Netflix є центри в кожному регіоні, які можуть розподіляти навантаження. За технологічними досягненнями Netflix стоїть співпраця між різними міжвідомчими командами: від інженерів, хмарної архітектури, науки про дані, пошукових рекомендацій до розподілу контенту та відтворення на пристроях, кожен етап проходить через випробування. Netflix розширює свою діяльність з онлайн-стрімінгу фільмів і серіалів до живих трансляцій і ігор, а технічна команда стверджує, що вони постійно оновлюють технологічний рівень, щоб покращити досвід користувачів. Майбутня мета полягає в тому, щоб дозволити глядачам не тільки замовляти контент за запитом у будь-який час, але й брати участь у глибоких інтерактивних моментах, насолоджуючись безшовним та занурювальним розважальним досвідом.

Розширене читання:

За потоками: створення надійного хмарного каналу живого потокового відео для Netflix

Ця стаття “Токіо на місці” пояснює команду Netflix про технологічний фон живої трансляції, вперше з'явилася на Chain News ABMedia.