О новых функциях SQL Server 2016

Источник: Блог компании Microsoft

Базы данных - это сердце любой компании, которое обеспечивает работоспособность буквального каждого направления деятельности. Но какое место базы данных занимают в современных реалиях? Ведь они появились не сегодня. Они были созданы в то время, когда мы и представить не могли, что мир технологий будет таким, какой он есть сейчас. Традиционные базы данных предназначались исключительно для записи и извлечения транзакций, таких как заказы и платежи. Их задачей было обеспечивать надежную и безопасную работу приложений в небольшом или среднего масштаба локальном ЦОДе.

Наш продукт - SQL Server 2016 - помогает реализовать весь потенциал новейших технологических тенденций. Он поддерживает гибридную обработку транзакций, расширенную аналитику и машинное обучение, мобильную бизнес-аналитику, интеграцию данных, обработку запросов с шифрованием и работу с транзакциями в оперативной памяти. По всей видимости, это единственная в своем роде реляционная база данных, изначально предназначенная для облака. Большинство ее функций первоначально были разработаны и протестированы в Azure, в 22 ЦОДах, рассредоточенных по всему миру, при нагрузке в несколько миллиардов запросов в день. Она уже успела продемонстрировать отличные результаты на практике. Многие наши клиенты успешно используют эту базу данных.

Мы рады пригласить Вас на ключевое событие года в мире данных - Виртуальный Форум Microsoft "Данные. Технологии. SQL Server 2016", который состоится 8 июня 2016 года.

Ниже подробности о некоторых новых функциях SQL Server 2016 - R Services, PolyBase, Stretch Database.

Еще больше и подробнее вы можете узнать на нашем виртуальном форуме.

Анализ внутри базы данных с использованием языка R

Язык программирования R широко используется как программное обеспечение для анализа данных и составления прогнозов. Он бесплатный, основан на открытом исходном коде и поддерживается большим сообществом. Вы можете использовать несколько тысяч пакетов для решения различных задач. К вашим услугам - стандартные функции статистики и управления данными, графические интерфейсы и передовые алгоритмы машинного обучения. Язык R выбирают ученые и компании, которые хотят внедрять инновации с использованием современных аналитических методов.

SQL Server R Services - это новый компонент в SQL Server 2016. Вы по-прежнему можете использовать преимущества языка R, постоянно растущего набора пакетов и большого сообщества пользователей, но теперь вам также доступны возможности SQL Server и знакомый интерфейс Transact-SQL.

Службы R Services позволяют выполнять анализ внутри базы данных. Вы можете хранить данные в SQL Server 2016, а приложения вызывают скрипты R через хранимую процедуру T-SQL. Это упрощает интеграцию приложений с языком R. Скрипты R выполняются на той же машине, где хранятся данные, поэтому вам не нужно беспокоиться о безопасности: код R не сможет получить доступ к Интернету или к другим процессам, запущенным на SQL Server.
Пользователи R Services могут использовать библиотеку алгоритмов ScaleR - набор функций, который предлагает эквиваленты для повседневных задач, выполняемых на языке R. Однако в отличие от аналогов CRAN-R, функции ScaleR масштабируемы для обработки сотен миллионов и миллиардов строк посредством параллельных вычислений. Это обеспечивает производительность, которой невозможно достичь при использовании распространенных пакетов с открытым исходным кодом. API ScaleR были разработаны компанией Revolution Analytics. После того как Microsoft приобрела эту компанию, API были интегрированы в SQL Server. Они являются кроссплатформенными, то есть поддерживают не только SQL Server, но и другие платформы.
SQL Server также предлагает существующие функции и механизмы для интеграции и повышения производительности. Например, возможно использование ColumnStore индексов вместе с языком R, чтобы быстрее выполнять аналитические запросы. Встроенный механизм управления позволяет контролировать ресурсы, выделенные для среды выполнения R. А службы SQL Server Integration Services (SSIS) обеспечивают бесшовную интеграцию с ETL и планирование регламентных задач через интерфейс хранимых процедур.
Другая важная особенность R Services заключается в том, что пользователи могут работать со знакомыми инструментами:
- Специалисты, занимающиеся изучением данных, имеют возможность использовать привычную среду R IDE. Они могут работать с R Studio, с недавно анонсированными средствами R Tools for Visual Studio или с любой средой IDE по своему усмотрению. Вместо того чтобы переносить данные на локальную машину, можно воспользоваться средством ScaleR для удаленного выполнения непосредственно из IDE. Применение средств SQL Server 2016 для анализа внутри БД позволяет ускорить анализ больших наборов данных.
- К услугам администраторов серверов - хорошо им знакомое ПО SQL Server Management Studio для управления службами R Services, контроля ресурсов и назначения прав доступа.
- Разработчикам приложений доступны API T-SQL. Они могут создавать отчеты SQL Server Reporting Services или панели мониторинга Power BI с оценками, прогнозами и графикой из R без необходимости изучать сам язык R.
- Инженеры данных могут комбинировать R с существующими потоками ETL и планировать регламентные задачи с помощью служб SQL Server Integration Services.

SQL Server R Services - это уникальное решение для анализа данных с использованием языка R, которое обеспечивает масштабирование, позволяет выполнять интеграцию с приложениями в промышленной среде и не требует больших денежных расходов.

С чего начать?
Вот список ресурсов, которые помогут вам приступить к работе с R Services:

Документация по продукту на MSDN
Видео от Data Driven, в котором рассказывается о том, как службы SQL Server R Services помогают создавать интеллектуальные приложения, выполнять предиктивный анализ и извлекать ценную информацию из данных. Другие видео по R Services см. в плейлисте Data Driven и на канале Channel9.
Руководства на MSDN
Шаблоны решения на сайте Cortana Analytics Gallery, образцы данных и кода на GitHub.
Если вы ничего не знаете о языке R, пройдите наши онлайн-курсы, например на сайте Datacamp, где вы также сможете найти углубленные курсы по API ScaleR.

Представляем PolyBase

За последние 10 лет мир информационных технологий изменился до неузнаваемости. Интернет вещей, технологии обработки неструктурированных данных и снижение цен на ИТ-оборудование, - все это обусловило настоящий бум Больших данных. Появились решения (такие как Hadoop and HDFS), позволяющие обрабатывать огромные массивы полуструктурированных данных и при этом не требующие покупки дорогостоящего специализированного "железа". Все это открыло перед бизнесом новые возможности получения прибыли, однако "оборотной стороной медали" стала растущая сложность корпоративных платформ для работы с данными. Кроме того, источники данных стали гораздо более разнообразными. Зачастую компаниям приходится иметь дело сразу с несколькими разрозненными наборами данных: реляционными в SQL Server и нереляционными в HDFS. Если аналитику необходимо совместить анализ полуструктурированных и структурированных данных, то ему придется сначала скопировать их из одной среды в другую, что отнимает много времени и сил.

Но все в мире меняется к лучшему! Решение PolyBase в SQL Server 2016 снимает проблему разрозненности реляционных и полуструктурированных данных. Использование PolyBase и T-SQL позволяет пользователям отправлять запросы к данным HDFS так, как будто они хранятся на локальном SQL Server, что открывает массу новых возможностей для анализа.

Примеры использования
PolyBase предлагает три сценария обращения к данным в SQL Server и Hadoop:

разовые запросы к Hadoop и SQL Server 2016 с помощью T-SQL;
импорт данных из Hadoop или blob-хранилища Azure в SQL Server 2016;
экспорт "холодных" реляционных данных в Hadoop или blob-хранилище Azure при сохранении возможности одновременной отправки запросов.

При отправке запросов к данным в Hadoop PolyBase стремится максимально рационально использовать вычислительные ресурсы этой платформы. В частности, PolyBase может принять решение перенести вычислительную нагрузку в Hadoop путем создания заданий MapReduce, что обеспечивает максимально эффективную обработку запросов.

Дополнительные ресурсы
Вам интересны возможности, предлагаемые PolyBase для SQL Server 2016? Ниже вы найдете ссылки на полезные ресурсы, а также видео, в котором рассказывается, как PolyBase позволяет отправлять запросы к данным HDFS с помощью T-SQL прямо из SQL Server.

Неограниченно долгое хранение данных с технологией Stretch Database

Технология Stretch Database, входящая в состав СУБД SQL Server 2016, дает возможность хранить любой объем данных столько, сколько потребуется, без нарушения соглашения об уровне обслуживания бизнеса и высоких затрат на приобретение систем хранения данных уровня предприятия. В отличие от обычных решений, применяемых для хранения "холодных" данных, Stretch Database обеспечивает постоянный доступ к вашим данным за счет использования неисчерпаемых облачных ресурсов Azure, а также не требует модификации большинства приложений. Администраторам баз данных лишь нужно активировать хранение "холодных" данных в облаке.

Основные сценарии

Перенос в облако всей таблицы: уже имеющуюся выделенную таблицу для "холодных" данных можно перенести целиком. Допустим, у вас есть таблицы Order_details и Order_details_history, последняя из которых содержит только "холодные" данные, переносимые из первой.
Перенос "холодных" строк: если в одной и той же таблице есть и "горячие", и "холодные" данные, можно перенести в Azure только "холодные". Для этого достаточно указать, какие именно строки являются таковыми (обычно это определяется по дате или состоянию), а SQL Server позаботится о переносе.

Преимущества
Azure SQL Stretch Database дает возможность пользоваться Azure на ваших условиях.

Получите пространство хранения корпоративного класса - сколько и когда нужно. Автоматизированное резервное копирование и георепликация включены по умолчанию.
При необходимости масштабируйте вычислительные ресурсы и пространство хранения с учетом требований рабочей задачи и платите только за используемый объем.
При помощи встроенного механизма безопасности централизованно управляйте доступом для заказчиков, объединивших локальный Active Directory с Azure Active Directory.
Пользуйтесь имеющимися знаниями и инструментами, такими как SQL Server Management Studio, SQL Server Data Tools, T-SQL и PowerShell, и расширяйте доступные возможности посредством портала Azure.

Еще раз напомним, что для использования Stretch Database вносить изменения в код большинства приложений не нужно.

Виртуальный Форум

Мы рады пригласить Вас на ключевое событие года в мире данных - Виртуальный Форум Microsoft "Данные. Технологии. SQL Server 2016", который состоится 8 июня 2016 года.

Основная программа форума состоит из трех паралельных технологических сесссий:

SQL Server 2016: новые стандарты в мире транзакции;
Бизнес-aналитика: SQL, Power BI, R, Mobile;
Azure: новое поколение решений для аналитики и Big Data.

Подробная программа доступна на сайте мероприятия.

Пространство Виртуальном форума орагизовано таким образом, что бы сможете почуствовать себя участником реальной конференции.

Каждый участник сможет посетить выставку партнерских решений.
Пообщаться с технологическими экспертами MVP, задать интересующие вопросы.
Задать интересующие вопросы докладчикам.
Получить все необходимые материалы и презентации.
И даже выйграть призы - самые активные получат один из 30 сертификатов на сдачу экзаменов по SQL Server 2016.

И это еще не все - увидеть технологии в действии Вы сможете в течение дня, приняв участие в тест-драйве платформыс помощью онлайн лабораторных работ под руководством тренера.

Участие в форуме бесплатное. Необходима предварительная регистрация.

Дополнительно

Предлагаем вам обратить внимание на блог Сергея Олонцева, где вы можете найти множество материалов, посвященных SQL Server 2016.

Обратите внимание на классную программу с метатегами - которую мы специально подготовили для технических специалистов (с возможностью фильтра по интересам) http://www.sql2016.ru/schedule