Курс "Data Pipeline на Apache Airflow"

Код: AIRF
Специализация: Авторские курсы: СУБД и хранилища данных

Продолжительность - 3 дня

Расписание:
22 мая 2024 года (Москва)
28 августа 2024 года (Москва)

3-дневный Курс «Data Pipeline на Apache Airflow и Apache Hadoop» позволит вам получить и систематизировать знания по использованию этого фреймворка для разработки, планирования и мониторинга рабочих процессов с большими данными. Курс содержит расширенные сведения по установке распределенного кластера Apache Airflow, администрированию и интеграции этой платформы с другими технологиями Big Data в соответствии с лучшими практиками (best practices).

Apache Airflow — это open-source набор библиотек для разработки, планирования и мониторинга рабочих процессов. Этот инструмент написан на языке программирования Python и позволяет создавать и настраивать цепочки задач как в визуальном режиме с помощью наглядного web-GUI, так и писать программный код на Python.

AirFlow принято называть ETL-средством для пакетов Big Data, он не является классической ETL-системой, а лишь помогает представить процесс извлечения-преобразования-загрузки данных в виде единого проекта на Python, чтобы удобно и эффективно управлять им.

На практике Apache Airflow используется в следующих случаях:

• интеграция множества информационных систем и данных из различных источников (внутренние и внешние базы, файловые хранилища, облачные приложения и пр.);
• загрузка информации в корпоративное озеро данных (Data Lake);
• организация уникальных конвейеров доставки и обработки больших данных (data pipeline);
• управление конфигурацией конвейеров данных как кодом в соответствии с DevOps-подходом;
• автоматизация разработки, планирования и мониторинга batch-процессов обработки Data Flow.

Все эти и другие примеры прикладного использования Apache Airflow для управления batch-процессами обработки больших данных разбираются в рамках практического Курса «Data Pipeline на Apache Airflow и Apache Hadoop».

Аудитория: курс ориентирован на системных администраторов, инженеров данных (Data Engineer), архитекторов, DevOps-инженеров, разработчиков Hadoop и прочих Big Data систем.

Предварительный уровень подготовки:

• Знание базовых команд Linux (опыт работы с командной строкой, файловой
  системой , POSIX, текстовыми редакторами vi, nano)
• Базовый опыт программирования Python/bash
• Начальный опыт в экосистеме Apache Hadoop
• Средний опыт программирования SQL

Соотношение теории к практике 50/50

Программа курса

1. Введение в Airflow

• Что такое Airflow?
• Почему Airflow?
• История создания
• Аналоги и конкуренты
• Airflow vs Oozie
• "Киты" Airflow
• Настройка образа в YandexCloud

2. Базовый Airflow

• Верхнеуровневая архитектура
• Компоненты: подробнее
• Executors
• LocalExecutor
• Схема учебного стенда
• DAG
• DAG: параметры
• Operators
• Operators: виды
• WEB UI: обзор
• Пайплайн по созданию DAG
• Dag: context
• Operator: основные параметры
• Composition
• EmptyOperator
• BashOperator
• Написание первого DAG
• TaskFlowApi
• PythonOperator

Практика #1

• Запуск дага с ручной конфигурацией

Практика #2

• Variables

Практика #3

Практика #4

• Connections
• Sensors

Практика #5

• ExternalTaskSensor

3. Расширенный Airflow

• Trigger Rules

Практика #6

• Backfill & catchup
• Templates
• Macros
• PostgresOperator
• Hooks

Практика #7

• TaskGroup
• XCOM
• Dynamic Tasks
• XCOM vs Variable

Practice #8

В конце обучения на курсе проводится итоговая аттестация в виде теста или на основании оценок за практические работы, выполненных в процессе обучения

В современном мире сложно обойтись без информационных технологий и их производных - компьютеров, мобильных телефонов, интернета и т.д., особенно в крупных компаниях и государственных организациях, работающих с большим количеством людей, а не только с парой VIP-клиентов, как это может быть в случае небольшой компании. А там, где есть большое количество контрагентов, заявителей и т.д. - не обойтись без баз данных, необходимых для обработки информации. Естественно, что времена гроссбухов и карточек, памятных многим по библиотекам, давно прошли, сегодня используются персональные компьютеры и электронные базы данных.

Сегодня невозможно представить работу крупнейших компаний, банков или государственных организаций без использования баз данных и средств Business Intelligence. Базы данных позволяют нам хранить и получать доступ к большим объемам информации, а система управления базами данных (СУБД) — осуществлять менеджмент доступных хранилищ информации.

В Учебном центре « Интерфейс» Вы научитесь эффективно использовать системы управления базами данных: быстро находить нужную информацию, ориентироваться в схеме базы данных, создавать запросы, осуществлять разработку и создание баз данных.

Обучение позволит Вам не только получить знания и навыки, но и подтвердить их, сдав соответствующие экзамены на статус сертифицированного специалиста . Опытные специалисты по СУБД Microsoft SQL Server или Oracle могут быть заинтересованы в изучении систем бизнес-аналитики. Это задачи достаточно сложные, использующие громоздкий математический аппарат, но они позволяют не только анализировать происходящие процессы, но и делать прогнозы на будущее, что востребовано крупными компаниями. Именно поэтому специалисты по бизнес-аналитике востребованы на рынке, а уровень оплаты их труда весьма и весьма достойный, хотя и квалифицированным специалистам по базам данных, администраторам и разработчикам, жаловаться на низкий уровень дохода тоже не приходится. Приходите к нам на курсы и получайте востребованную и высокооплачиваемую профессию. Мы ждем Вас!

В конце обучения на курсах проводится итоговая аттестация в виде теста или путём выставления оценки преподавателем за весь курс обучения на основании оценок, полученных обучающимся при проверке усвоения изучаемого материала на основании оценок за практические работы, выполненные в процессе обучения.

Учебный центр "Интерфейс" оказывает консалтинговые услуги по построению моделей бизнес-процессов, проектированию информационных систем, разработке структуры баз данных и т.д.

• Нужна помощь в поиске курса?
  Наша цель заключается в обеспечении подготовки специалистов, когда и где им это необходимо. Возможна корректировка программ курсов по желанию заказчиков! Мы расскажем Вам о том, что интересует именно Вас, а не только о том, что жестко зафиксировано в программе курса. Если вам нужен курс, который вы не видите на графике или у нас на сайте, или если Вы хотите пройти курс в другое время и в другом месте, пожалуйста, сообщите нам, по адресу mail@interface.ru или shopadmin@itshop.ru
• Поговорите со своим личным тренинг-менеджером!
  Мы предоставляет Вам индивидуальное обслуживание. Если у вас есть потребность обсудить, все вопросы касательно обучения, свяжитесь, пожалуйста c нами по телефонам: +7 (495) 925-0049, + 7 (495) 229-0436. Или любым другим удобным для Вас средствами связи, которые Вы можете найти на сайтах www.interface.ru или www.itshop.ru

Магазин программного обеспечения   WWW.ITSHOP.RU

CAD Import .NET Professional пользовательская Quest Software. SQL Navigator Professional Edition ABBYY Lingvo x6 Английская Профессиональная версия Microsoft 365 Apps for business (corporate) FastReport VCL 6 Standard Edition Single License

Другие предложения...

Курсы обучения   WWW.ITSHOP.RU

10988 Управление операциями бизнес-аналитики SQL Эксплуатация Apache NIFI Основы Hadoop

Другие предложения...

Магазин сертификационных экзаменов   WWW.ITSHOP.RU

IBM Tivoli Storage Manager V7.1 Fundamentals XK1-003: CompTIA +Beta Exam IBM Enterprise Storage Sales V5

Другие предложения...

3D Принтеры | 3D Печать   WWW.ITSHOP.RU

Другие предложения...