Отключение Роблокса в 2021 году

Изображение, показанное во время обслуживания сайта.

28 октября 2021 года, в 17:00 по тихоокеанскому времени или в полночь по всемирному координированному времени, у Roblox начались серьёзные проблемы на всём сайте. У игроков возникали проблемы с навигацией по сайту и использованием Roblox. Большинству игроков было отказано в доступе к обычно публичным плейсам, и большинство страниц перенаправлялись на ошибку 400 «Неверный запрос».

Через восемнадцать часов после начала сбоя, Roblox закрыл сайт на техническое обслуживание впервые с 2019 года. Сайт постепенно открывался заново через 63 часа после закрытия, а полный доступ к сайту был восстановлен через 72,75 часа, что сделало это самым продолжительным отключением в истории Roblox.

Широко распространено мнение, что это было вызвано событием Chipotle Burrito Builder (ранее Chipotle Boorito Maze), но это было быстро опровергнуто аккаунтом Roblox в Твиттере, а затем и сообщением в блоге.  Закрытие привело к широкому освещению в Интернете как пользователями Roblox, так и не пользователями на YouTube, Twitter, Discord и других социальных сетях и новостных платформах.

График

Примечание. Первый час — 17:00 по тихоокеанскому стандартному времени.

Страница статуса Roblox, документирующая инцидент, 31 октября 2021 года в 6:00 по тихоокеанскому времени.

27 октября

• В 19:00 по тихоокеанскому времени один из пользователей на форуме разработчиков сообщил, что вкладка «Создания сообщества» в каталоге сломана, и хотя отключение начнётся только через почти 21 час после публикации этого сообщения, некоторые считают, что это возможно было началом отключения.

28 октября

• За несколько часов до события пользователи сообщают о незначительных проблемах с их аватарами, а также о том, что некоторые плейсы отстают больше, чем обычно.
• За 1 час до сбоя — около 16:00 по тихоокеанскому времени ошибка начинает распространяться на большинство серверов. Эти серверы начинают давать сбои, и некоторые пользователи не могут присоединиться к играм. Аватары в игре отображаются только как блочные аватары по умолчанию. Большинство людей, которые находятся онлайн в Roblox, начинают замечать задержку. К концу часа серверы начинают быстро глючить.

• Час 1
  • Сообщается, что Roblox потерял 99% активных пользователей.
  • status.roblox.com сообщает об «Активном инциденте» и «Сбое в обслуживании» на веб-сайте, в мобильном приложении, приложении Xbox, в приложениях Roblox Studio, хранилищах данных, присоединениях к взаимодействиям и аватаре. Они сообщают, что «это повлияет на плейсы многих игроков».
• Час 2 (18:00 по тихоокеанскому времени)
  • Веб-сайт остается доступным, но страницы полностью нефункциональны. Ресурсы на страницах, такие как аватары, миниатюры и проценты рейтинга, не загружаются.
  • Сбой доходит до пользователей мобильного приложения, которые сообщают, что вышли из Roblox, что вызывает опасения, что их учетные записи могут быть скомпрометированы.
  • Это влияет на фильтр чата, из-за чего сообщения чата не загружаются должным образом.
  • К концу часа последние пользователи уходят в оффлайн.
• Час 3
  • Впервые с 2016 года веб-сайты с подсчетом активных пользователей сообщают о 0 пользователях Roblox в сети.
  • Некоторые люди сообщают, что могут время от времени загружать сайт.
• Час 5 (22:00 по тихоокеанскому времени)
  • Roblox Studio становится недоступной для пользователей.
  • Пользователи сообщают, что кнопка «Посетить» не отображается на страницах плейсов и заменяется надписью «Невозможно проверить, есть ли у вас доступ к этому плейсу, повторите попытку позже», и навигация по веб-сайту стала «невозможной».
  • Сообщается, что при попытке просмотра страниц для ознакомления почти всегда выдается ошибка HTTP 400 «Неверный запрос».
  • status.roblox.com сообщает, что они «определили основную причину как внутреннюю проблему системы».
  • Мобильные пользователи полностью заблокированы в приложении, поскольку они не могут зарегистрироваться или войти в систему. Некоторые пользователи думали, что это их аккаунты забанили.

29 октября

• В этот день Flamingo выпустил шуточное видео, где он сказал, что Роблокс удаляется навсегда.
• В этот день KreekCraft запустил стрим по поводу этого отключения, который длился 10 часов.

• Час 14 (7 утра по тихоокеанскому времени)
  • Пользователи сообщают об очень ограниченном доступе к Roblox и возможности посетить некоторые мероприятия, несмотря на хрупкое состояние платформы.
  • status.roblox.com сообщает, что они «активно работают над инцидентом» и что «некоторые пользователи начали иметь ограниченный доступ».
• Час 15 — @Roblox пишет в Твиттере следующее: «Мы знаем, что у вас сейчас проблемы с использованием Roblox. Мы приносим извинения и прилагаем все усилия, чтобы вернуть все в норму».
• 17 час (10:00 по тихоокеанскому времени) — веб-сайт Roblox официально закрыт на «техническое обслуживание». Впервые с 2019 года сайт был полностью заблокирован.
• Час 20 (13:00 по тихоокеанскому времени) – @Roblox пишет в Твиттере: «Все еще добиваемся прогресса в отношении сегодняшнего отключения. Мы продолжим держать вас в курсе. Еще раз приносим извинения за задержку. Мы знаем, что это отключение не было связано с какими-либо конкретными событиями». или партнерство на платформе», развеивая первоначальный слух о том, что мероприятие, спонсируемое Chipotle, способствовало начальным этапам сбоя.
• Час 21 : – status.roblox.com обновляет сообщение о том, что «команда продолжает активную работу над полным восстановлением сайта».
• Час 22 — Roblox занимает 38-е место в рейтинге самых популярных хэштегов Twitter из-за сбоя.

30 октября

• Час 46 (15:00 по тихоокеанскому времени)
  • @Roblox пишет в Твиттере: «Мы [полагаем, что] определили основную внутреннюю причину сбоя. Мы находимся в процессе выполнения необходимых работ по проектированию и техническому обслуживанию, чтобы восстановить работу Roblox как можно скорее. Спасибо за ваше терпение». Вскоре после этого твит был удален.
  • status.roblox.com сообщает: «Мы полагаем, что определили основную внутреннюю причину сбоя. Мы находимся в процессе выполнения необходимых инженерных и технических работ, чтобы снова запустить Roblox. Спасибо за ваше терпение».

31 октября

• 60 часов (5 утра по тихоокеанскому стандартному времени) — Roblox побивает свой предыдущий рекорд простоев, составлявший чуть менее 60 часов ( август 2016 г. ), что стало самым продолжительным отключением в его истории.
• Час 62 (7 утра по тихоокеанскому времени) –
  • status.roblox.com обновляется, чтобы сказать: «Мы считаем, что определили основную внутреннюю причину сбоя. Мы находимся в процессе выполнения необходимых инженерных и технических работ, чтобы снова запустить Roblox. Спасибо за ваше терпение».
  • Первые пользователи сообщают о возможности открыть сайт.
• Час 64 – @Roblox пишет в Твиттере: «Мы определили основную причину и решение. Мы работаем над тем, чтобы вернуть все в онлайн, и будем держать вас в курсе в течение дня». status.roblox.com сообщает то же самое через минуту.
• Час 65 (10 утра по тихоокеанскому времени) . Возможность открытия сайта начала распространяться по всему миру. Для пользователей, имеющих доступ к веб-сайту, размещается баннер со следующим текстом: «Мы постепенно открываемся для групп пользователей и продолжим развертывание».
• Час 68 (13:00 по тихоокеанскому времени)
  • status.roblox.com объявляет, что «Трафик разрешается постепенно. Некоторые, но не все игроки будут иметь доступ».
  • Через 8 минут @Roblox пишет в Твиттере: «Быстрое обновление, пока мы работаем над тем, чтобы вернуть все в норму. Мы постепенно возвращаем регионы в онлайн».
• Час 72 –
  • @Roblox пишет в Твиттере: «Roblox снова онлайн повсюду! Спасибо за ваше терпение, пока мы возвращаемся к нормальной жизни».
  • За 15 минут до 73-го часа status.roblox.com обновляется, сообщая, что «Нормальная работа восстановлена».
  • Баннер на веб-сайте обновляется: «Roblox снова в сети! Спасибо за ваше терпение, пока мы возвращаемся к нормальной жизни».

Последствия

Возврат средств отправлен разработчику за запланированную рекламу после первоначального сбоя.

Через несколько часов после того, как платформа была снова подключена к сети и стала полностью функциональной, генеральный директор Roblox Дэвид Базуки принёс извинения в блоге Roblox за события, произошедшие за последние 73 часа.

В конце этого блога Базуки заявил, что Roblox примет меры для предотвращения еще одного крупного сбоя на уровне всего сайта, подобного этому, в будущем, а также заявил, что опубликует вскрытие с более подробной информацией о причине сбоя, как только они будут опубликованы, анализ был завершён.

Сообщение, отправленное разработчику, с сообщением о компенсации, выданной Roblox за потерянный доход во время сбоя.

На форуме разработчиков также было заявлено, что никакие данные о сохранении пользователей не были потеряны, и разработчикам будет возмещена стоимость рекламных объявлений, которые не удалось запустить из-за сбоя. Из-за сбоя Roblox также потерял более 1,5 миллиардов долларов рыночной капитализации 1 ноября 2021 года, то есть за этот период выручка составит не менее 15 миллионов долларов.

Даже спустя 20 часов после окончания сбоя все еще оставались некоторые ошибки API каталога и почти нулевая возможность обнаружения недавно выпущенных аксессуаров. Об этом сообщила лишь очень небольшая часть пользователей. Это не повлияло ни на какие впечатления.

3 ноября 2021 года Roblox начал возвращать деньги за рекламу, которую не удалось запустить из-за сбоя.

8 ноября 2021 года Roblox объявила, что предоставит разработчикам соответствующую компенсацию за упущенную выгоду из-за сбоя, оценив «Roblox, заработанный на торговой площадке и неопытных транзакциях, а также премиальных выплат». Несколько часов спустя Роблокс начал этот процесс.

20 января 2022 года сотрудники Roblox опубликовали в блоге посмертное сообщение, в котором объясняется, что сбой был вызван неправильной конфигурацией основной службы управления ресурсами, работающей на серверах обнаружения опыта и платформы. Кроме того, время, необходимое для диагностики проблемы, было увеличено из-за сильной зависимости Roblox от затронутых систем. В том же сообщении в блоге Roblox объяснил, что они предприняли необходимые шаги для предотвращения повторения сбоев в таком масштабе и намерены расшириться до нескольких центров обработки данных для дальнейшего смягчения сбоев.

Критика и слухи

Многие пользователи предположили, что отключение было вызвано недавно проведенным мероприятием Chipotle, на котором посетители могли заработать ваучеры на бесплатное буррито. По таким платформам, как Reddit и Twitter, распространились многочисленные слухи о том, что Roblox закрывается по нескольким причинам, включая неприемлемый контент на их веб-сайте и банкротство. На ранних стадиях сбоя ходили слухи, что сбои при загрузке плейса происходили из-за того, что плейс не сохранялся должным образом, и что пользователям следует избегать присоединения к какому-либо плейсу.

Поскольку сбой превысил 24 часа, члены сообщества выразили разочарование по поводу возможной потери своих серий входа в систему, которые часто используются для вознаграждения посетителей. Разработчики и дизайнеры отметили, что они потеряли Robux из-за рекламы, размещенной в течение 24 часов до сбоя, из-за снижения посещаемости сайта, но позже им вернули деньги.

Люди критиковали продолжительность простоя и некомпетентность инженеров в выявлении проблемы в течение почти 48 часов. Несколько влиятельных лиц сделали пародии на официальные посты Роблокса в Твиттере.