Уровни TIER, дата-центры и другие хвосты

Доброго времени суток, дорогие друзья, знакомые, читатели, почитатели и прочие личности. Давненько что-то на Заметках Сис.Админа не было ничего админско-серверного. Сегодня как раз об этом.

Наверняка многие из Вас слышали про такие понятия как ЦОД и Tier, а некоторые знают, что есть некие уровни этих самых Tier и вроде бы всё это связано с серверами + отвечает за стабильность, безопасность и качество работы оных, но далеко не всё известно подробно, понятно, детально и всем.

В рамках этого материала собрать всё воедино, систематизировать и донести всё доступным языком, т.е мы кратко пройдемся по определению ЦОД’ов, а потом углубимся в Tier, уровни, стандарты и понимание того, как это устроено, что означает и всё такое прочее.

Поехали.

ЦОД. Вводная и определения

Давайте для начала определимся с понятием ЦОД’а, которое мы приравниваем к понятию дата-центров, а так же ЦХОД (чуть дальше Вы поймете откуда взялась буковка “Х”).

Если говорить просто, то дата-центр, — это не что иное, как специализированное здание для размещения серверного и сетевого оборудования с последующим подключением к нему клиентов (не всегда).

В свою очередь сервера занимаются обработкой, хранением и иного рода взаимодействиями с данными.

ЦОД’ы в комплексе, — и сервера в частности, — могут иметь различные цели, хотя и в большинстве случаев кажется, что они представляют собой платформу для размещения хостинга, что не всегда справедливо. Точности ради стоит сказать, что некую долю занимают дата-центры обслуживающие платформы для майнинга или просто серверные парки в оных, занимающиеся обсчетом критически важных, с точки зрения, зачастую, инфраструктуры, данных.

Считается, что центры обслуживания и хранения данных ориентированы в большинстве своём на корпоративных клиентов и пусть в абсолютных цифрах это близко к реальности, — ЦОД так же обслуживает и частных клиентов. Самым простым примером последних может служить размещение своего сервера/серверов в стойке за определенную плату, что по сути является арендой места, либо целиком арендой физического сервера.

Цели и задачи

Изначальной целью почему-то заявляется снижение совокупной стоимости IT-инфраструктуры для того же бизнеса за счет сокращения расходов на администрирование, перераспределение нагрузок и прочее прочее.

На самом деле это не совсем так, благо цена на обслуживание инфраструктуры и мощностей заложена в стоимость аренды юнита (и всех услуг) в дата-центре, равно как и почти все остальные накладные расходы, что с этим связаны. Бизнес не работает себе в убыток, пускай и выигрывает на “расходниках” за счет плотности, инфраструктуры и оптовости.

Единственно-разумной и точной целью существования центров обслуживания и хранения данных является обеспечение стабильной и бесперебойной работы всего размещенного в нём сетевого, серверного и иного оборудования. В общем и целом это можно назвать uptime, про который мы еще поговорим далее.

Ресурсы и мощности, масштабируемость и стоимость, размеры и люди, — это второе. Стабильность и бесперебойность, — первое.

Немного лирики о взлётах и падениях

Историю, которую Вы несомненно знаете где найти и без автора статьи, начиналась с больших компьютерных комнат, продуманных настолько, насколько это возможно. Если Вы когда-то были в научных лабораториях или объектах строго режима (особенно это военка), то примерно можете себе это представить.

Множество разумно проложенных кабелей, особое расположение самих компьютеров, строгие инструкции, продуманные пространства, освещение и многое другое, — это всё то, что изначально было заложено в основу будущих ЦОД’ов.

Со временем, конечно же, с удешевлением оборудования и другими переломными для индустрии моментами, всё это кое-где перебиралось в серверные (часто не очень квалифицированные) и прочее прочее, и, казалось бы, что скоро в дата-центрах не будет нужды, но жизнь расставила всё по своим местам, — появился интернет (бум роста ЦОД-ов пришелся на 1994—2003 года), высокопроизводительные сервера/сети/системы и ресурсоемкие задачи для них и нечеловеческая необходимость в вышеупомянутой стабильности и бесперебойности работы с чем простые серверные, само собой, не справлялись.

Цена нескольких секунд простоя IT-инфраструктуры стала стоить нещадных денег, следовательно возрос спрос, появилось предложение и ЦОД’ы не то чтобы стали расти как на дрожжах, но стали появляться, масштабироваться и работать больше, лучше и эффективнее.

Т.е стало еще более жизненно необходимо не просто обеспечивать постоянную работу, но и делать её эффективной (теплоотвод, энергопотребление), быстрой и поддерживать постоянную связь с внешним миром за счет магистральных и сопутствующих каналов.

Что же это такое

Как Вы уже поняли, дата-центр, — это специализированные помещения. Точнее, — это специализированное здание с помещениями. Точнее, — это специализированная территория со всеми необходимыми коммуникациями + инфраструктурой + помещениями, способная не просто вместить (хранить) в себя все те сервера, сети и другое оборудование, но и обеспечивать выше заявленные цели, а особенно уже несколько раз упомянутый uptime.

Логичным образом дата-центры требуют больших затрат, как на этапе строительства, так и в процессе обслуживания, но не только (и не столько) финансовых, сколько логистических на всех уровнях, а также, что естественно, соответствия стандартам, суровый минимум которых представляет из себя следующий список:

1. TIA-942 — Telecommunications Infrastructure Standard for Data Centers;
2. TIA-568-C — Telecommunications cabling standards, used by nearly all voice, video and data networks;
3. TIA-569-B — Commercial Building Standards for Telecommunications Pathways and Spaces;
4. TIA-607-B — Commercial grounding — earthing — standards;
5. TIA-598-C — Fiber opticcolor-coding);
6. TIA-222-G — Structural Standard for Antenna Supporting Structures and Antennas;
7. TIA-602-A — Data Transmission Systems and Equipment, which standardized the common basic Hayes command set;
8. TIA-102 — Land Mobile Communications for Public Safety (APCO/P25).

Сами стандарты не взяты с потолка и связаны с компанией Telecommunications Industry Association, которая в свою очередь занимается их формированием и проверкой. Такие себе ребята, которые проверяют отели на пятизвездочность, только вот тут не отели, а ЦОД’ы.

ДЦ (дата-центр), если брать его не как здание/помещение, а территорию и говорить обобщенно, состоит из:

• Информационной инфраструктуры, — сервера, компьютеры и пр;
• Телекоммуникационной инфраструктуры, — взаимосвязь, сети и коммуникации;
• Инженерной инфраструктуры, — условно говоря, всё остальное, т.е кондиционеры, бесперебойники, противопожарка и тп, т.е “обвязка”, которая требуется для нормального функционирования.

А вот теперь, когда мы поговорили с Вами про общее понятие и определение, про представление и стандарты, соответствия, содержимое и пр, а так же чуть чуть затронули историю, то есть смысл поговорить и о второй части, — классификации. Она же Tier.

Tier. Вводная и определения

Tier , как ни странно, не является аббревиатурой и условно говоря считается “уровнем”. Вообще говоря, — его стоило бы назвать стандартом, в соответствии с которым классифицируется тот или иной дата-центр, но в стандарт входят подстандарты, каждый из которых определяет… Нет, не так.

Скорее тут будет уместно, как уже я пытался применить метафору выше, — это звёздочка как у отелей. Больше звёздочек, — выше качество по всем параметрам, что в эти звёздочки входят. Питание, охрана, уборка, вот это вот всё.

Итого, центры обработки данных (ЦОД) распределяются по 4 категориям – Tier 1, Tier 2, Tier 3 и Tier 4(Tier 4– наивысшая категория).

Принято считать, что 4-ой нет в природе, но постепенно по ней начинают сертифицировать и упор там большей частью ориентирован на местоположение в пространстве (глобально и локально) в целях, в частности, защиты от природных катаклизмов. Почти себе дублирование природы :)

Сами центры делятся по размерам, надежности и предназначению:

• По размерам, — бывают модульные, большие, маленькие, средние и контейнерные. В общем и целом ничего особенного, кроме первых и последних;
• По надежности, — об этом ниже, уровни надежности определяются стандартами и пр;
• По предназначению, — для компании или для всех желающих, зависящие от провайдера или нет и тп.

Теперь далее.

Табличная классификация

Автор заранее предупреждает, что описанную ниже табличную классификацию он пишет так, как её "'помнит". Гугл подсказывает, что помнит верно.

Но насколько сместились общие параметры соответствия (обратите внимание на доли) сказать может разве что сами Telecommunications Industry Association.

Итого:

По поводу N:

• (N) — отказы оборудования / тех.работы приводят к остановке работы всего ДЦ, часто нет резервных каналов, питания и тп;
• (N+1) — чуть больше резервирования (обычно по питанию), но всё равно всё встаёт, если что;
• (2N) — прилично резервов, один обычно в работе во время тех.работ, второй работает и наоборот, есть горячая замена инженерки и пр;
• (2(N+1)) — все резервные каналы (питание, коммуникации, сети, связь и пр), причем задублирован и основной и дополнительный (не только канал, но и системы), т.е если в ходе тех работ падает две системы дублирования (основная и доп., то есть еще две) и вообще можно кинуть в ДЦ ядерную бомбу :)

Теперь к словесному варианту.

Словесная квалификация

Давайте теперь разберемся, что тут к чему, собственно, на словах.

• Первый Tier, — базовый уровень, согласно классификации, актуальной в 1960-е и 1970-е годы. В общем и целом это небольшая одиночная уютная серверная с печеньками;
• Второй, — большая серверная в нормальном (фальшпотолки, кондиционеры, ибп, плинтуса и тп) её исполнении и помещении (или нескольких), где есть дополнительные компоненты (N+1) активного оборудования, стойки и тп;
• Третий, — полноценный и пока самый часто встречающийся ЦОД, где используется своя территория, здание (или несколько), охрана, все необходимые системы и коммуникации, дублируется распределение потоков этих систем и коммуникаций, в частности это касается трубопроводов охлаждения, каналов связи в здании, питание во всех его смыслах и на любой случай;
• Четвертый, — всё есть, плюс многократное дублирование всего, и дублирование дублей этого всего. Кто бы что ни говорил, как уже говорилось выше (простите за тавтологию), — в природе в общем-то не встречается.

Помимо этого стоит знать, что самые популярные коммерческие ЦОД, – это Tier 2 и Tier 3.

У Tier 1 отсутствует необходимое резервирование, а Tier 4 чаще всего является частным… кхм, дата-центром.

Помимо уровня резервирования и надежности, собственно, Tier 2 и Tier 3 различаются еще и наличием собственной территории, здания, других особенностей, а именно:

Стоит отметить, что человеческая сетевая инфраструктура начинается на третьем уровне Tier, несмотря на то, что построена в общем и целом достаточно базово, — резервирование внутренних и внешних каналов играет большую роль.

Особенно выигрывает 3-йка, если дата-центра компании, что им владеет, два или больше и оба они Tier 3 (с разными каналами наружу, но парными между друг другом).

Послесловие

Стоит понимать, что сертификация уровня Tier присваивается в три этапа:

• Разработка документации на постройку ЦОДа;
• Строительство;
• Обслуживание.

Нужно умудриться получить сертификацию на всех этапах, особенно на втором и последнем. Иначе получается, что задумали всё верно, а вот всё остальное это ад и ужас, — какие тут многозвёзд. Как с отелями в общем, начертили хорошо, построили средне, обслуживание хорошее, а вот повар… Ну Вы поняли.

Спасибо за внимание :) Оставайтесь с нами.

PS: Первоначально опубликовано мною на Хабре.