(495) 925-0049, ITShop интернет-магазин 229-0436, Учебный Центр 925-0049
  Главная страница Карта сайта Контакты
Поиск
Вход
Регистрация
Рассылки сайта
 
 
 
 

Курс "Интеграция Hadoop и NoSQL"

Код: NoSQL
Специализация: Авторские курсы: СУБД и хранилища данных

Продолжительность - 5 дней

Расписание:
24 октября 2022 года (Москва)        
12 декабря 2022 года (Москва)        

Стоимость:  100 000 руб.  

5-дневный практический курс для инженеров данных, архитекторов Data Lake и Data Warehouse, а также разработчиков Big Data решений.

Соотношение теории к практике 40/60

Практическое обучение инженеров данных и архитекторов Big Data в «Школе Больших Данных» включает теоретический минимум, необходимый для прикладной работы и эффективному использованию Apache HBase, Spark, Sqoop, Hive, Impala, Greenplum, ArenadataDB, Yandex ClickHouse и Arenadata Quick Marts. Подробно рассматриваются вопросы проектирования озер и корпоративных хранилищ данных, схемы HBase, Greenplum, ArenadataDB, Yandex ClickHouse и Arenadata Quick Marts. Подробно рассматриваются вопросы проектирования озер и корпоративных хранилищ данных, импорта и экспорта информации из реляционных источников, преобразование данных в процессах ETL/ELT с использованием batch-процессинга Hive и конвейеров на Apache Spark.

Курс содержит описание механизма SQL-доступа к данным в OLAP и OLTP-решениях посредством Cloudera Impala и Apache HBase/Phoenix. MPP-системы разбираются на примере аналитической СУБД Greenplum/ArenadataDB, в т.ч. интеграцию с Hadoop-кластерами по протоколу параллельного обмена данных со сторонними системами PXF (Platform eXtension Framework). Также курс включает знакомство с кластерной колоночной СУБД Arenadata Quick Marts (Yandex СlickHouse), которая позволяет в режиме реального времени генерировать аналитические отчёты на больших объемах данных.

На практике вы самостоятельно построите собственный data pipeline в рамках ETL/ELT-процессов, поработаете с SQL-запросами к Hadoop, спроектируете схему организации NoSQL-таблиц в озере и корпоративном хранилище данных.

ПРОГРАММА КУРСА ИНТЕГРАЦИЯ HADOOP И NOSQL

  1. Введение в NoSQL
  • Базовые принципы и компоненты Hadoop
  • Основные концепции и виды NoSQL решений
  • Архитектура Data Lake
  • Принципы формирование pipelines и Data Lake
  1. Организация импорта данных
  • Apache Sqoop – основные принципы:
    • простой импорт и экспорт данных из реляционных источников
    • сценарии применения
  • Apache Spark – обзор возможностей:
    • импорт и экспорт данных из реляционных источников и файлов
    • нагруженный импорт данных с преобразованием для вложенных, JSON, XML форматов
  • Особенности использования форматов хранения файлов AVRO, ORC, Parquet.
  1. Организация Hadoop SQL интерфейса доступа к данным на файловой системе HDFS
  • Apache Hive – интерфейс доступа для batch-процессинга данных на HDFS
    • Основные компоненты системы
    • Batch процессинг с использованием движков MapReduce/Tez, LLAP, Spark – особенности
    • Тюнинг JOIN операций
    • Сценарии использования
  • Cloudera Impala – OLAP аналитика данных в MPP Hadoop
    • Особенности решения
    • Интеграция с Hive и HBase
    • Форматы файлов для Cloudera Impala (Parquet, ORC)
    • Особенности JOIN-операций
    • Сценарии использования
  • Spark SQL
    • Возможности фреймворка и предоставляемые API
    • Сложные преобразования и агрегация с использованием Spark SQL
    • Интеграция с Hive
    • Сценарии использования
  1. NoSQL в Hadoop
  • Спектр возможностей NoSQL в экосистеме Hadoop
  • Apache HBase – для real-time доступа на чтение и запись
    • Архитектура решения, концепция CRUD,
    • Проектирование базы данных, выбор column family
    • Сценарии использования HBase
    • Использование Apache Phoenix для HBase
  1. Организация хранилища MPP NoSQL на примере Greenplum/ArenadataDB
  • Концепция MPP и её реализация в Greenplum/ArenadataDB.
    • Загрузка и распределение данных. Сегментирование таблиц. Индексация
    • Внешние таблицы, реплицированные таблицы, consistent hashing
    • Оптимизация запросов, JOIN
    • Best practices
    • Сценарии использования
  1. OLAP на колоночных базах данных на примере Yandex ClickHouse и Arenadata Quick Marts
  • Особенности реализации
  • Шардирование, партиционирование, индексация
  • Сценарии использования

В конце обучения на курсе проводится итоговая аттестация в виде теста или на основании оценок за практические работы, выполненных в процессе обучения


В современном мире сложно обойтись без информационных технологий и их производных - компьютеров, мобильных телефонов, интернета и т.д., особенно в крупных компаниях и государственных организациях, работающих с большим количеством людей, а не только с парой VIP-клиентов, как это может быть в случае небольшой компании. А там, где есть большое количество контрагентов, заявителей и т.д. - не обойтись без баз данных, необходимых для обработки информации. Естественно, что времена гроссбухов и карточек, памятных многим по библиотекам, давно прошли, сегодня используются персональные компьютеры и электронные базы данных.

Сегодня невозможно представить работу крупнейших компаний, банков или государственных организаций без использования баз данных и средств Business Intelligence. Базы данных позволяют нам хранить и получать доступ к большим объемам информации, а система управления базами данных (СУБД) — осуществлять менеджмент доступных хранилищ информации.

В Учебном центре « Интерфейс» Вы научитесь эффективно использовать системы управления базами данных: быстро находить нужную информацию, ориентироваться в схеме базы данных, создавать запросы, осуществлять разработку и создание баз данных.

Обучение позволит Вам не только получить знания и навыки, но и подтвердить их, сдав соответствующие экзамены на статус сертифицированного специалиста . Опытные специалисты по СУБД Microsoft SQL Server или Oracle могут быть заинтересованы в изучении систем бизнес-аналитики. Это задачи достаточно сложные, использующие громоздкий математический аппарат, но они позволяют не только анализировать происходящие процессы, но и делать прогнозы на будущее, что востребовано крупными компаниями. Именно поэтому специалисты по бизнес-аналитике востребованы на рынке, а уровень оплаты их труда весьма и весьма достойный, хотя и квалифицированным специалистам по базам данных, администраторам и разработчикам, жаловаться на низкий уровень дохода тоже не приходится. Приходите к нам на курсы и получайте востребованную и высокооплачиваемую профессию. Мы ждем Вас!

В конце обучения на курсах проводится итоговая аттестация в виде теста или путём выставления оценки преподавателем за весь курс обучения на основании оценок, полученных обучающимся при проверке усвоения изучаемого материала на основании оценок за практические работы, выполненные в процессе обучения.

Учебный центр "Интерфейс" оказывает консалтинговые услуги по построению моделей бизнес-процессов, проектированию информационных систем, разработке структуры баз данных и т.д.

  • Нужна помощь в поиске курса?
    Наша цель заключается в обеспечении подготовки специалистов, когда и где им это необходимо. Возможна корректировка программ курсов по желанию заказчиков! Мы расскажем Вам о том, что интересует именно Вас, а не только о том, что жестко зафиксировано в программе курса. Если вам нужен курс, который вы не видите на графике или у нас на сайте, или если Вы хотите пройти курс в другое время и в другом месте, пожалуйста, сообщите нам, по адресу mail@interface.ru или shopadmin@itshop.ru
  • Поговорите со своим личным тренинг-менеджером!
    Мы предоставляет Вам индивидуальное обслуживание. Если у вас есть потребность обсудить, все вопросы касательно обучения, свяжитесь, пожалуйста c нами по телефонам: +7 (495) 925-0049, + 7 (495) 229-0436. Или любым другим удобным для Вас средствами связи, которые Вы можете найти на сайтах www.interface.ru или www.itshop.ru


 Распечатать »
 Правила публикации »
   
 Рекомендовать »  
 

Магазин программного обеспечения   WWW.ITSHOP.RU
Nero Basic Burning ROM 2018 VL 5 - 9 License corporate
DevExpress / Universal Subscription
Stimulsoft Reports.Ultimate Single License Includes one year subscription
FastReport FMX 2 Single
Allround Automation PL/SQL Developer - Annual Service Contract - Unlimited
 
Другие предложения...
 
Курсы обучения   WWW.ITSHOP.RU
 
Другие предложения...
 
Магазин сертификационных экзаменов   WWW.ITSHOP.RU
 
Другие предложения...
 
3D Принтеры | 3D Печать   WWW.ITSHOP.RU
 
Другие предложения...
 
Поиск курсов
 
 
Интересные факты

Учебный центр "Интерфейс" - в десятке ведущих учебных центров России в сфере IT.

  • У нас преподают такие известные эксперты, как Пржиялковский В.В., Леоненков А.В., Новичков А.Н., Золотухина Е.Б., Зайцев А.Л., Зайцев Р.А., Большаков О.Н., Мирончик И.Я., Саксонов А.А., Пригодина Н.Ю.
  • Учебный центр "Интерфейс" проводит авторизованные курсы по продуктам компаний Microsoft, ERwin, Embarcadero (CodeGear), Postgres Professional
  • Подтвердить полученные знания можно, сдав сертификационные экзамены. Учебный центр "Интерфейс" является авторизованным центром тестирования Pearson VUE
  • Учебный центр "Интерфейс" оказывает консалтинговые услуги по построению моделей бизнес-процессов, проектированию информационных систем, разработке структуры баз данных и т.д.
  • Возможна корректировка программ курсов по желанию заказчиков! Мы расскажем Вам о том, что интересует именно Вас, а не только о том, что жестко зафиксировано в программе курса.
  • Где Вам удобнее учиться? В Москве? Санкт-Петербурге? Подмосковье? В вашем собственном офисе? Позвоните нам по тел.:+7 (495) 925-0049 и мы обсудим удобный для Вас вариант обучения.

Горячая линия:
+ 7 (495) 925-0049
mail@interface.ru
Отправить быстрое сообщение

Новости по теме
 
Рассылки Subscribe.ru
Информационные технологии: CASE, RAD, ERP, OLAP
Новости ITShop.ru - ПО, книги, документация, курсы обучения
Обучение для IT-профессионалов
Обучение и сертификация Microsoft
IT сертификация
 
Статьи по теме
 
Новинки каталога Download
 
Исходники
 
Документация
 
Обсуждения в форумах
Рабочее зеркало БК Мостбет - как найти? (3)
Узнайте обо всех особенностях по поиску рабочего зеркала БК Мостбет из нашей статьи...
 
Ставки на спорт (7)
Добрый вечер! Давно хочу попробовать зарабатывать на ставках. Что посоветуете? Стоит пробовать?
 
Поиск рабочих зеркал МарафонБет (2)
На сегодняшний день, просторы интернета позволяют нам легко найти зеркало на Марафон для входа в...
 
Слот Биг Бэнг (5)
Большой взрыв как правящая теория сотворения мира. Теперь вы можете поиграть слот Big Bang в...
 
Вывод на карту банка (5)
После пары успешных спинов эксперты советуют находить в себе силы остановиться, и сразу...
 
 
 



    
rambler's top100 Rambler's Top100