Модель применения

Кластерная система хранения первого уровня для обеспечения приема передачи файловых данных WEB-ресурса Kodak EasyShare Gallery. Запись, считывание и обработка в режиме online фотографий пользователей.

Требования к системе

WEB-ресурсу Kodak EasyShare Gallery требовалось увеличить дисковое пространство, повысить отказоустойчивость и снизить эксплуатационные расходы. При этом обязательным условием была возможность простого и быстрого масштабирования системы для обеспечения потребностей в ситуации, когда рост данных сложно спрогнозировать. Количество пользователей галереи Kodak увеличивается с каждым днем и как следствие увеличивается количество фотографий, размещенных на этом ресурсе. Особенно сильно заметен прирост данных в периоды массовых отпусков.

Выбор решения

Выбор при модернизации системы хранения данных был сделан в пользу решений от компании Isilon IQ. При разработке проекта были рассмотрены различные решения с архитектурой NAS и SAN, но решения Isilon IQ обладали лучшими показателями в таких областях как:

• Эффективность инвестиций на начальном этапе и стоимость последующего сопровождения
• Простота в настройке и управлении хранением данных
• Время, которое требуется на монтаж и ввод в эксплуатацию, 60 секунд требуется для запуска системы после монтажа в стойку
• При расширении системы время на модернизацию комплекса составляет 1-2 дня, по сравнению с 4-6 неделями для комплекса, который использовался ранее
• Линейная масштабируемость
• Поддержка протокола передачи данных HTTP
• Репликация на уровне файлов и папок при помощи SyncIQ Isilon’s™ с использованием сетей WAN или LAN

Цифровая галерея Kodak

Kodak EasyShare Gallery является ведущим мировым WEB-ресурсом в области фотографии, позволяющим:

• Отправлять отснятые фотографии прямо с фотоаппарата используя WiFi-подключение
• Хранить отснятые фото в высоком разрешении
• Обрабатывать фотографии в online-режиме
• Отправлять фотографии на печать
• Делиться своими фотографиями с другими людьми

Кластерная система хранения данных Isilon IQ поддерживает постоянно растущую галерею, в которой хранится более 1 миллиарда изображений.

В далеком 1888 году основатель компании Kodak, George Eastman, представил свою первую фотокамеру под лозунгом “Вы нажимаете кнопку, мы делаем остальное”, основной идеей было упрощение процесса фотосъемки. Таким образом был сделан первый шаг на пути к фотосъемке как к массовому явлению. На сегодняшний день компания Kodak является мировым лидером в области любительской фотографии, а сетевые камеры с online-доступом к Kodak EasyShare Gallery являются инновационным продуктом, делающим процесс фотографирования простым, удобным и интересным.

Сервисы Kodak EasyShare Gallery ежедневно помогают людям осуществлять съемку, обмениваться фотографиями и распечатывать фотографии на бумаге.

В 2004 году компания Kodak стала лидером по продажам цифровых камер на территории США. По информации IDC, это произошло благодаря инновационному подходу, когда пользователи обмениваются снимками при помощи фотоаппаратов и совместно используют цифровые альбомы Kodak EasyShare Gallery.

Основной идей ресурса Kodak EasyShare Gallery является объединение множества фотоснимков от разных пользователей, возможность их совместного использования и обработки при помощи различных online-сервисов. Цифровая галерея дает возможность максимально просто пересылать, сохранять и просматривать фотоснимки с друзьями, семьей и коллегами по работе в любом месте, где бы вы ни находились. Загруженные снимки можно редактировать при помощи широкого инструментария, создавая неповторимые портреты, пейзажи, натюрморты или коллажи. Всего за несколько секунд пользователь может отправить фотографии на печать, используя различные носители, такие как футболки, кружки, календари, коврики для мыши. Через несколько дней отпечатанная продукция придет по почте. Для загрузки изображений в цифровую галерею предусмотрено несколько способов: через персональный компьютер, подключенный к сети интернет, при помощи мобильного телефона и напрямую через фотоаппараты Kodak с функцией EasyShare. После загрузки данные становятся доступны в режиме 24/7/365, с любого устройства имеющего доступ к сети интернет.

Переход на кластер хранения данных

С каждым годом разрешающая способность матриц цифровых камер увеличивается, это позволяет получать более качественные снимки, однако при этом значительно увеличивается размер файла, в который сохраняются изображения. Как следствие, это влияет на размер цифровой галереи, объем данных стремительно увеличивается и система хранения данных должна отвечать возросшим требованиям. Система хранения данных нуждалась в решении, которое позволило бы быстро и экономично наращивать емкость хранения данных по мере того, как растет количество пользователей и используемый объем.

Проект Kodak EasyShare Gallery был запущен в 1999 году, за основу комплекса была взята система хранения с непосредственным подключением (DAS). Серверы, к которым были подключены дисковые массивы, управляли томами и инфраструктурой хранения. Такая системы была чрезвычайно сложной как в управлении, так и в расширении – для расширения емкости было необходимо добавлять серверы, задачей которых было управление отдельным хранилищем. Еще одной проблемой была разрозненность хранилищ и отсутствие единого пространства. Это приводило к тому, что на одном из хранилищ емкость была исчерпана полностью, а на соседнем практически не использовалась.

Для решения этой проблемы Kodak EasyShare Gallery обратилась в компанию Isilon Systems. Специалисты компании Isilon заменили существующую классическую систему DAS на кластер хранения данных. Такой подход позволил быстро и экономично наращивать емкость хранения данных по мере того, как растет количество пользователей и используемый объем. На сегодняшний день цифровая галерея обслуживает свыше 20 миллионов пользователей. При расширении системы время на модернизацию комплекса занимает 1-2 дня по сравнению с 4-6 неделями для комплекса, который использовался ранее.

Системы хранения Isilon IQ построены по принципу кластера, за управление емкостью хранения отвечает специализированная операционная система OneFS®. Принцип модульного кластера дает возможность Kodak EasyShare Gallery обрабатывать и хранить большое количество изображений с высоким разрешением, увеличивая объем хранения по мере необходимости. Внедрение систем Isilon IQ позволило отказаться от дорогостоящих серверов и программного обеспечения, которые осуществляли передачу данных между системой хранения и пользователем. Распределенная архитектура и поддержка протоколов HTTP позволяет реализовать доступ пользователя непосредственно к системе хранения данных, тем самым повышая производительность. Мощный интерфейс управления и мониторинга делает работу с системой максимально удобной.

Интеллектуальная репликация SyncIQ™

Кластерная система хранения данных вкупе с программным обеспечением SyncIQ™ для репликации данных позволяют создавать множество дублированных узлов. Дублированные узлы могут быть созданы как на центральной системе хранения данных, так и на удаленных сайтах. Дублирование узлов дает возможность увеличить скорость приема/передачи данных, а так же защитить информацию, разместив ее копию на удаленном сайте. SyncIQ™ полностью интегрируется с консолью управления Isilon IQ и позволяет назначать различные сценарии репликации. Репликация может производиться по сетям WAN или LAN, при этом администратор может задавать тип репликации в зависимости от полосы пропускания сети. Все операции выполняются в автоматическом режиме в соответствии с настроенными сценариями, это дает возможность Kodak EasyShare Gallery снизить эксплуатационные расходы.

Обработка пиковых нагрузок

У многих предприятий существуют периоды пиковых нагрузок на IT-инфраструктуру, они связанны с сезонностью, ростом потребительского спроса на определенные виды продукции, с дефицитом в определенной области и т. д. В такие периоды наблюдается лавинообразный рост нагрузки на серверы, системы хранения данных, сети передачи данных. Для Kodak EasyShare Gallery таким периодом являются дни после празднования Хэллоуина во всем мире. В течении этих нескольких дней наблюдается перегрузка сетей передачи данных, связанная с массовым приемом/передачей фотографий, отснятых во время празднования Хэллоуина. В свою очередь системы хранения данных Isilon IQ способны без труда обрабатывать такие нагрузки. В качестве примера можно привести такие данные: в 2004 году за два дня после празднования Хэллоуина на ресурсе Kodak EasyShare Gallery были размещены фотографии общим объемом 3TB. Трафик, создаваемый пользователями, которые просматривали эти фотографии, в десятки раз превышал трафик в другие дни года. Благодаря объему и пропускной способности кластерных систем хранения данных Isilon IQ, галерея Kodak не испытывает проблем даже в периоды пиковых нагрузок. Широкие возможности расширения кластера хранения позволят избежать таких проблем и в будущем, открывая новые горизонты для динамичного роста цифровой галереи Kodak.