Введение
Сегодня работа с большими объемами данных и облачные вычисления ― это, несомненно, две самых горячих темы. Спрос на квалифицированных специалистов в этих областях быстро растет, как и их заработная плата. К счастью, обе области в какой-то мере связаны между собой, так что можно начать изучение "больших данных" и попутно накапливать опыт и изучать концепции облачных вычислений. Конечно, потратив некоторое время, эти темы можно изучить и в Интернете, но есть лучший и более простой путь: бесплатные курсы в Университете больших данных.
BigDataUniversity.com - это учебный Web-сайт, который предлагает бесплатные курсы по работе с большими объемами данных и базами данных. Сайт находится в ведении сообщества, в которое входят многие сотрудники IBM, добровольно принимающие участие в разработке курсов и расширении сайта. Их девиз: учитесь у лучших специалистов отрасли в удобном для себя темпе и месте. Университет Больших Данных привлекателен тем, что большинство курсов включают практические занятия, которые можно выполнить в облаке. Например, один из курсов Университета больших данных спонсирует компания Amazon Web Services, которая предоставляет кредит в 25 долларов на изучение больших данных в ее облаке. На каждом курсе Университета больших данных нужно сдать короткий экзамен, и в случае успеха можно распечатать свидетельство об окончании курса.
В этой статье перечислены курсы, которые уже проводятся в Университете больших данных, и те, что откроются в ближайшем будущем. Хотя ни один из этих курсов не ставит никаких предварительных условий, их предлагается проходить в определенном порядке.
Предлагаемая последовательность обучения
Курсы Университета больших данных подразделяются на три категории:
- темы, связанные с большими объемами данных;
- темы, связанные с базами данных (DB2);
- прочие темы.
Курсы по темам, связанным с большими объемами данных
На рисунке 1 приведен список курсов, относящихся к категории "больших данных", и указан порядок, в котором мы рекомендуем их проходить (сверху вниз и слева направо) в зависимости от вашего текущего уровня подготовки в сфере концепций больших данных.
Рисунок 1. Курсы Университета больших данных - категория больших данных
Курс "Демонстрации по анализу больших данных" в верхней части рисунка предоставляет собой рассказ о том, что представляют из себя "большие данные", почему они важны, и обзор их характеристик. Он же знакомит с концепциями анализа статических данных (аналогией может служить океан: огромное количество данных, но без всякого течения) и динамических данных (аналогией служит река: потоки постоянно текущих данных, которые нужно анализировать в режиме реального времени).
Курсы, изображенные в левой части рисунка 1 ("Основы Hadoop I", "Hadoop и облако Amazon", "Hadoop и IBM SmartCloud Enterprise", и "Основы Hadoop II" - в бета-версии) относятся главным образом к анализу статических данных. Они учат работать с Hadoop, Java-средой с открытым исходным кодом, которая помогает быстро обрабатывать большие объемы данных. Обратите внимание, что эти курсы предусматривают лабораторные работы, которые можно выполнять в облаке Amazon или в IBM SmartCloud Enterprise. Мы предлагаем проходить курсы этого раздела в указанном порядке, сверху вниз.
В центре рисунка 1 перечислены три курса:
- Курс "Анализ в форме электронных таблиц" (бета-версия) позволяет людям без технической подготовки воспользоваться технологиями обработки больших объемов данных, не осваивая программирование для запуска Hadoop, JAQL и т.п. При этом анализе используется модуль BigSheets, который может работать поверх Hadoop, предназначенный для бизнес-пользователей, знакомых с инструментами типа электронных таблиц, такими как MS Excel.
- Курс "Основы анализа текста I" учит основам анализа неструктурированных данных, таких как содержание электронной почты или любых других документов. При этом для указания способов фильтрации информации используется язык Annotation Query Language (AQL). С помощью Eclipse-плагина для анализа текстов можно разрабатывать AQL-приложения и устанавливать их поверх Hadoop для работы с большими данными.
- Курс "Языки запросов для Hadoop" (в бета-версии) учит работать с языками запросов и сценариев, такими как Hive, Pig и JAQL. Эти языки сценариев упрощают разработку программ преобразования-сокращения в Hadoop для тех, у кого нет опыта программирования на язык Java.
В правой части рисунка приведен список курсов по анализу динамических данных, которые будут опубликованы в ближайшем будущем ("Потоковые вычисления I" и "Потоковые вычисления II", оба в бета-версиях). На них будут обсуждаться, например, способы анализа твитов или комментариев Facebook в режиме реального времени по мере поступления данных. Эти курсы будут учить также анализу логов, обработке сложных событий и многому другому.
Курсы по темам, связанным с базами данных
На рисунке 2 приведен список курсов, относящихся к категории баз данных (DB2), и указан порядок, в котором мы рекомендуем их проходить (сверху вниз и слева направо) в зависимости от текущего уровня подготовки в сфере концепций баз данных.
Рисунок 2. Курсы Университета больших данных - категория баз данных (DB2)
Курс "Основы SQL" в верхней части рисунка 2 - это вводный курс, который учит не только SQL, но и основным концепциям систем управления реляционными базами данных и других систем. Лучше всего пройти этот курс и прочесть книгу Основы баз данных.
Курсы, указанные в левой части рисунка 2, обеспечат прочную основу знаний в области основных идей DB2. Для получения оптимальных результатов пройдите курсы "Основы DB2. Часть I" и "Основы DB2. Часть II" и прочтите книгу Освоение DB2 Express-C.
Готовящийся к публикации курс "Что нового в DB2 10?" объяснит новые функции, доступные в последней версии DB2 для Linux, UNIX и Windows. В него войдут видеодемонстрации таких функций, как запросы типа "путешествие во времени", разнорежимное хранение данных, совместимость с Oracle и многие другие.
В центре рисунка 2 показан курс "Основы Data Studio. Часть I". На момент написания статьи этот курс обновился до последней версии Data Studio; однако чтобы ознакомиться с Data Studio, можно просмотреть и видеозаписи этого курса, созданные для предыдущей версии продукта.
Наконец, с правой стороны рисунка 2 показан курс "Академическое изучение DB2 - подготовка к экзамену 302A". Этот курс подготовит вас к экзамену IBM 302A, предназначенному для научного сообщества. Он включает в себя 13 уроков и образец теста, который дает хорошее представление о том, как будет проходить реальный экзамен.
На рисунке 3 приведен список курсов категории "Прочие".
Рисунок 3. Курсы Университета больших данных категории "прочие"
Курс "Создание курса в Университете больших данных" содержит все инструкции, необходимые тем, кто заинтересован в разработке курсов для публикации в Университете больших данных. Пройдите его, и вы поймете, как легко создать свой собственный курс. Сегодня все курсы в Университете больших данных бесплатны, но если вы хотите разработать курс, за который будет требоваться плата, Университет больших данных может обеспечить и это.
Наконец, курс "Разработка ПО с открытым исходным кодом" (в бета-версии) включает в себя список задач по разработке открытого ПО, которые нужно решить для обеспечения работы Университета больших данных. Члены сообщества, готовые помочь в создании этих средств с помощью PHP, могут обращаться к нам, и мы предоставим доступ к этому курсу для рассмотрения проектов и задач, которые ожидают своего решения.
В этой статье говорится о различных курсах Университета больших данных, которые можно пройти для повышения уровня знаний в области технологий обработки больших объемов данных и технологий баз данных. Рисунки, приведенные в статье, указывают предлагаемый путь, или порядок, которому рекомендуется следовать. В настоящее время все курсы Университета больших данных бесплатны, содержат практические лабораторные занятия и после сдачи экзамена позволяют распечатать сертификат об окончании курса.
Университет больших данных ― это общественный сайт, спонсируемый IBM. Мы приглашаем членов сообщества к участию в разработке новых курсов, и курс "Создание курса в Университете больших данных" содержит все инструкции, позволяющие приступить к этой работе.