(495) 925-0049, ITShop интернет-магазин 229-0436, Учебный Центр 925-0049
  Главная страница Карта сайта Контакты
Поиск
Вход
Регистрация
Рассылки сайта
 
 
 
 

Курс "Основы Apache Kafka"

Код: BOKA
Специализация: Авторские курсы: СУБД и хранилища данных

Продолжительность - 2 дня

Производится набор группы

Стоимость:  36 000 руб.  

Apache Kafka – это распределенная отказоустойчивая платформа потоковой передачи событий. Этот фреймворк с открытым исходным кодом активно используется в качестве middlware-слоя для асинхронной интеграции корпоративных приложений и построения микросервисной EDA-архитектуры.

Благодаря своим архитектурным особенностям Kafka имеет высокую пропускную способность и обеспечивает долговременное хранение сообщений с гарантией строго однократной доставки. Kafka — это не только брокер сообщений, а целая экосистема, которая включает широкий набор инструментов для решения различных задач: KSQL, Kafka Streams, Kafka Connect с source- и sink-коннекторами к разным хранилищам. Поэтому с помощью Kafka можно организовать интерактивный сбор, агрегации и аналитику данных в крупных масштабах.

На практике Apache Kafka активно используется в системах интернета вещей (IoT/IIoT), а также в различных бизнес-приложениях, где нужно собирать, агрегировать и обрабатывать данные в режиме онлайн из множества различных источников: транзакционные и аналитические СУБД, файловые хранилища, системы веб-аналитики и пр.

Аудитория: Администраторы кластера, дата-инженеры, архитекторы ИС, разработчики и аналитики данных, а также любые ИТ-специалисты, которые хотят освоить Apache Kafka

Цель курса:

  • понять основные принципы потоковой передачи событий и EDA-архитектуры
  • познакомиться с особенностями работы Apache Kafka
  • научиться использовать работы Apache Kafka для решения задач обработки потоковых данных и интеграции приложений в реальном времени
  • освоить основы администрирования кластера и утилиты этой платформы

Предварительный уровень подготовки:

  • Уверенное знание базовых команд Linux: опыт работы с командной строкой, файловой системой, POSIX
  • Владение текстовыми редакторами vi, nano

Внимание!

Данный курс проводится для сформированных групп от 6 человек.

Программа курса

1. Введение в Kafka

  • Что такое Apache Kafka?
  • Сценарии использования Kafka
  • Компоненты Kafka и Kafka экосистемы
  • Архитектура Kafka

2. Основные концепции Kafka

  • Как работает Kafka: Топики (Topics) и партиций (Partitions). Репликация данных.
  • Брокеры (Brokers): Развертывание. Конфигурация Multibroker
  • Поставщики данных (Producers): Типы партиций. Синхронные и асинхронные Producers.
  • Потребители данных (Consumers): Очереди Consumers.

3. Установка кластера Apache Kafka

  • Требования по установке кластера Kafka
  • Установка и настройка кластера Zookeeper: Настройка кворума. Конфигурация сервисов и файловой системы. Оптимизация и отказоустойчивость Zookeeper.
  • Установка кластера Kafka без использования Zookeeper KIP-500
  • Установка и настройка кластера Kafka: Планирование установки и sizing кластера Kafka.
  • Установка кластера Kafka на Yandex Cloud
  • Использование и настройка Yandex Managed service для Apache Kafka

4. Базовые операции в Apache Kafka

  • Операции с Топиками (Topic): Изменение конфигурации топиков, масштабирование топиков
  • Сегменты и индексы. Политика очистки логов (Log Cleanup Policy). Сжатие и консолидация данных в логах
  • Публикация данных с консольного Producer
  • Получение данных с консольного Consumer

5. Администрирование кластера Apache Kafka

  • Утилиты командной строки для администрирования Kafka
  • Управление группами потребителей (Consumer Group).
  • Отказоустойчивость кластера Kafka
  • Балансировка разделов(partition) и использование Partition Reassignment Tools
  • Графические пользовательские интерфейсы GUI для работы с Kafka

6. Мониторинг производительности кластера Apache Kafka

  • Оптимизация производительности компонент кластера
  • Масштабирование кластера
  • Best Practices Kafka/Confluent
  • Мониторинг кластера Kafka
  • Настройка мониторинга кластера Kafka с использованием Prometheus + Grafana

7. Интеграция с Apache Kafka

  • Интеграция Kafka с внешними системами
  • Утилита Kafka Connect: Архитектура Kafka Connect. Примеры настройки коннекторов
  • Сценарии интеграции с Apache Kafka

8. Расширенная конфигурация кластера Kafka

  • Kafka REST Proxy: отправка и получение сообщений в форматах JSON, бинарные и AVRO-файлы
  • Организация доступа к Kafka через REST Proxy
  • Schema Registry
  • Что такое Kafka Schema registry
  • Как работает Schema Registry

9. Основы Мirror Maker 2.0

  • Зеркалирование кластера Apache Kafka и сценарии использования
  • Утилита Mirror Maker 2.0

10. Основы безопасности кластера Apache Kafka

  • Архитектура безопасности Apache Kafka
  • Аутентификация и авторизация для кластера Apache Kafka

Программа читается совместно с Школа Больших Данных.

В конце обучения на курсе проводится итоговая аттестация в виде теста или на основании оценок за практические работы, выполненных в процессе обучения


В современном мире сложно обойтись без информационных технологий и их производных - компьютеров, мобильных телефонов, интернета и т.д., особенно в крупных компаниях и государственных организациях, работающих с большим количеством людей, а не только с парой VIP-клиентов, как это может быть в случае небольшой компании. А там, где есть большое количество контрагентов, заявителей и т.д. - не обойтись без баз данных, необходимых для обработки информации. Естественно, что времена гроссбухов и карточек, памятных многим по библиотекам, давно прошли, сегодня используются персональные компьютеры и электронные базы данных.

Сегодня невозможно представить работу крупнейших компаний, банков или государственных организаций без использования баз данных и средств Business Intelligence. Базы данных позволяют нам хранить и получать доступ к большим объемам информации, а система управления базами данных (СУБД) — осуществлять менеджмент доступных хранилищ информации.

В Учебном центре « Интерфейс» Вы научитесь эффективно использовать системы управления базами данных: быстро находить нужную информацию, ориентироваться в схеме базы данных, создавать запросы, осуществлять разработку и создание баз данных.

Обучение позволит Вам не только получить знания и навыки, но и подтвердить их, сдав соответствующие экзамены на статус сертифицированного специалиста . Опытные специалисты по СУБД Microsoft SQL Server или Oracle могут быть заинтересованы в изучении систем бизнес-аналитики. Это задачи достаточно сложные, использующие громоздкий математический аппарат, но они позволяют не только анализировать происходящие процессы, но и делать прогнозы на будущее, что востребовано крупными компаниями. Именно поэтому специалисты по бизнес-аналитике востребованы на рынке, а уровень оплаты их труда весьма и весьма достойный, хотя и квалифицированным специалистам по базам данных, администраторам и разработчикам, жаловаться на низкий уровень дохода тоже не приходится. Приходите к нам на курсы и получайте востребованную и высокооплачиваемую профессию. Мы ждем Вас!

В конце обучения на курсах проводится итоговая аттестация в виде теста или путём выставления оценки преподавателем за весь курс обучения на основании оценок, полученных обучающимся при проверке усвоения изучаемого материала на основании оценок за практические работы, выполненные в процессе обучения.

Учебный центр "Интерфейс" оказывает консалтинговые услуги по построению моделей бизнес-процессов, проектированию информационных систем, разработке структуры баз данных и т.д.

  • Нужна помощь в поиске курса?
    Наша цель заключается в обеспечении подготовки специалистов, когда и где им это необходимо. Возможна корректировка программ курсов по желанию заказчиков! Мы расскажем Вам о том, что интересует именно Вас, а не только о том, что жестко зафиксировано в программе курса. Если вам нужен курс, который вы не видите на графике или у нас на сайте, или если Вы хотите пройти курс в другое время и в другом месте, пожалуйста, сообщите нам, по адресу mail@interface.ru или shopadmin@itshop.ru
  • Поговорите со своим личным тренинг-менеджером!
    Мы предоставляет Вам индивидуальное обслуживание. Если у вас есть потребность обсудить, все вопросы касательно обучения, свяжитесь, пожалуйста c нами по телефонам: +7 (495) 925-0049, + 7 (495) 229-0436. Или любым другим удобным для Вас средствами связи, которые Вы можете найти на сайтах www.interface.ru или www.itshop.ru


 Распечатать »
 Правила публикации »
   
 Рекомендовать »  
 

Магазин программного обеспечения   WWW.ITSHOP.RU
КОМПАС-3D v17 Home
Panda Mobile Security - ESD версия - на 1 устройство - (лицензия на 1 год)
SmartBear AQtime Pro - Node-Locked License (Includes 1 Year Maintenance)
SAP® Crystal Presentation Design 2016 WIN INTL NUL
Stimulsoft Reports.Ultimate Single License Includes one year subscription, source code
 
Другие предложения...
 
Курсы обучения   WWW.ITSHOP.RU
 
Другие предложения...
 
Магазин сертификационных экзаменов   WWW.ITSHOP.RU
 
Другие предложения...
 
3D Принтеры | 3D Печать   WWW.ITSHOP.RU
 
Другие предложения...
 
Поиск курсов
 
 
Интересные факты

Учебный центр "Интерфейс" - в десятке ведущих учебных центров России в сфере IT.

  • У нас преподают такие известные эксперты, как Пржиялковский В.В., Леоненков А.В., Новичков А.Н., Зайцев А.Л., Зайцев Р.А., Большаков О.Н., Мирончик И.Я., Саксонов А.А., Пригодина Н.Ю., Красникова С.А.
  • Учебный центр "Интерфейс" проводит авторизованные курсы по продуктам компаний Microsoft, ERwin, Embarcadero (CodeGear), Postgres Professional
  • Подтвердить полученные знания можно, сдав сертификационные экзамены. Учебный центр "Интерфейс" является авторизованным центром тестирования Pearson VUE
  • Учебный центр "Интерфейс" оказывает консалтинговые услуги по построению моделей бизнес-процессов, проектированию информационных систем, разработке структуры баз данных и т.д.
  • Возможна корректировка программ курсов по желанию заказчиков! Мы расскажем Вам о том, что интересует именно Вас, а не только о том, что жестко зафиксировано в программе курса.
  • Где Вам удобнее учиться? В Москве? Санкт-Петербурге? Подмосковье? В вашем собственном офисе? Позвоните нам по тел.:+7 (495) 925-0049 и мы обсудим удобный для Вас вариант обучения.

Горячая линия:
+ 7 (495) 925-0049
mail@interface.ru
Отправить быстрое сообщение

Новости по теме
 
Рассылки Subscribe.ru
Информационные технологии: CASE, RAD, ERP, OLAP
Новости ITShop.ru - ПО, книги, документация, курсы обучения
Обучение для IT-профессионалов
Обучение и сертификация Microsoft
IT сертификация
 
Статьи по теме
 
Новинки каталога Download
 
Исходники
 
Документация
 
 



    
rambler's top100 Rambler's Top100