Сегодня о том, что собой представляет когнитивная система Watson и как она работает расскажет Александр Дмитриев, бизнес-консультант Клиентского центра IBM в Москве. Он ответит на вопросы, которые возникали у читателей по прочтении других материалов на эту тему.

Александр, наши читатели регулярно задают вопросы, основной посыл которых можно уложить в один: "Что такое когнитивная система IBM Watson, и как она работает?" Помогите, пожалуйста, ответить на него.

Здравствуйте. Прежде всего, Watson в целом - это большой набор пакетов программного обеспечения, использующих самые разнообразные алгоритмы. Часть этих пакетов доступна в облаке, а часть - предназначена для местного развертывания. Компания IBM собрала разнообразные аналитические модули и построила систему, которая может справляться с поистине огромным количеством данных. Эта система работает как с цифровой, так и с текстовой информацией на различных языках, в том числе на русском - пока еще на базовом, но все же достаточно глубоком уровне.

При обработке информации устанавливаются связи и корреляции между самыми разными данными, событиями, фактами и явлениями. Одна из главных задач системы - выявление связей, которые незаметны простому глазу и которые не могут быть выявлены обычным способом, либо сделать это стандартными методами сложно. К примеру, если у какого-нибудь предприятия есть система мониторинга, которая выдает тысячи меняющихся параметров за минуту, то ни один аналитик не в состоянии проанализировать такую информацию оперативно. Инструментарий Watson же это позволяет сделать. Это если говорить об IBM Watson в целом.

 

Я видел вопросы относительно того, является ли Watson искусственным интеллектом. Отвечаю - нет, это не искусственный интеллект. Это - своеобразный усилитель естественного интеллекта человека, который позволяет быстрее обрабатывать информацию, охватывать большие объемы данных и находить то, что проходит мимо человеческого взгляда.

Станислав Лем писал об этом в своей книге "Сумма технологии": "Человек непосредственно не может соперничать с Природой: она слишком сложна, чтобы он мог ей в одиночку противостоять. Образно говоря, человек должен построить между собой и Природой целую цепь из звеньев, в которой каждое последующее звено будет как усилитель Разума более мощным, чем предыдущее".

Как это делается и зачем? Существует система аналитики верхнего уровня на базе Watson и системы аналитики более мелких уровней. Последние фактически представляют собой поисковые и аналитические системы с определенной спецификой. Они решают прикладные задачи. Как это работает? Заливаем большое количество информации определенной тематики в виде файлов распространенных форматов типа xls и csv. Загружаем эти данные в облако, после чего система Watson Analytics приступает к анализу этой информации, находя корреляции самостоятельно - с минимальным участием оператора. Это и есть небольшое, но очень важное отличие от других систем, поскольку здесь не просто поиск по ранее загруженным данным. Подчеркну - система сама анализирует загруженную информацию.

Что значит - сама? Система так настроена, что она просматривает все загруженные данные, проводит их очистку, указывая на технические проблемы вроде несовпадения форматов, пробелы, пропуски. Человек выбрасывает все экстремумы, которые являются ошибками или поводом для отдельного рассмотрения, выбирает метод обработки. Далее система занимается анализом данных, ищет корреляции, находит наиболее сильные и показывает оператору несколько гипотез с корреляциями, скажем, от 0,3 до 0,8.

Эти задачи я бы назвал условно задачами нижнего уровня. Они предназначены для того, чтобы упростить и ускорить работу аналитика. Рутинные операции автоматизируются самой системой. Это если говорить о Watson как системе поиска корреляций в массивах больших данных. То, на что шести аналитикам потребуется около недели, система IBM Watson Analytics через облако делает примерно за два часа. Насколько сложно работать с Watson? Я однажды провел эксперимент, усадив за систему людей, более-менее разбирающихся в статистике. Они в первый раз видели интерфейс. Через полтора часа они уже самостоятельно и весьма активно работали с ней.

Верхний уровень - это большие системы, внедрение которых требует значительного времени (от полугода и выше). Их принцип работы основан на идее исследования Gartner, в котором говорится, что к 2030 году общая квалификация специалистов в большинстве индустриальных отраслей существенно снизится. Один из факторов этого можно пояснить. Дело в том, что специалист, который привык (и которому по долгу службы нужно) постоянно пользоваться справочной информацией, уже не считает нужным помнить все то, что помнили специалисты "старой закалки" (от высоты стратосферы до точки кипения меди). Новое поколение охотно прибегает к интернету как к справочнику и не держит все необходимые знания в голове. Получается, что специалист становится в определенной степени зависим от машинных систем, а общий уровень его квалификации соответственно понижается. Это раз.

Второе, зачем нужны такие сложные системы? У нефтедобывающих и многих других корпораций огромная проблема - это передача информации от "поколения к поколению". Например, предыдущим коллективом сотрудников накоплен архив очень ценной технической информации. Но вот проблема - его никто в состоянии прочитать. Ведь на это нужно огромное количество времени. Специалисту для того, чтобы с этой информацией, ознакомиться, потребуется несколько лет - это человек должен читать сутками напролет без еды и отдыха.

Так что, обучение новых работников - дорогостоящая проблема. Смена кадров на крупных предприятиях - тут могут быть сотни и тысячи специалистов в год. Ушел человек - и с ним ушел бесценный опыт и знания. Как передать опыт? Путем записей? О них мы говорили выше.

Получается, что на уровне транснациональных корпораций, где огромное количество данных, номенклатуры, сотни тысяч человек персонала, требуется создать определенную систему, которая накапливала бы данные определенной тематической специализации. В идеале этой системой можно пользоваться не просто как справочником, но как справочником, который дает советы.

**В чем же задача системы Watson верхнего уровня? **

Огромное многообразие аналитических пакетов, входящих в общий инструментарий Watson, собираются воедино, из них выбираются нужные пакеты, которые будут обрабатывать информацию по определенному методу. Ну а в систему после этого загружаются данные любого типа - цифровые, протоколы совещаний, деловая переписка и переговоры, связи, контакты, цены, номенклатура оборудования, учебники по нефтяной промышленности, отчеты за различные периоды времени. На это может потребоваться больше года, но в результате создается пул основной базы знаний корпорации, которым можно активно пользоваться.

После этого настраиваются алгоритмы, которые позволяют анализировать информацию, детализировать ее, выделять и строить дерево актуальных тем - для той же "нефтянки" это наладка оборудования, разработка пластов, статистика, тенденции в технологиях и т.п. Все это собирается по темам, создается система подсказок. Системы такого рода, разработанные специалистами IBM, уже функционируют в ряде корпораций, включая австралийскую компанию Woodside Petroleum.

Сказанное выше можно проиллюстрировать примером. Есть главный инженер на предприятии, он дает задание пробурить скважину в пласте, по которому есть актуальные данные. Тот, кому дали задание, обращается к системе на естественном языке: "Что нужно сделать, чтобы пробурить скважину в таком пласте до такой-то глубины?" И система дает ответ, она работает как подсказка по конкретной нефтяной задаче. Сконфигурированная для "нефтянки" система делает подборку документации с выводами, и "говорит" - вот раньше поступали так, но при этом возникали такие-то проблемы, которые можно решить вот так. Вот это и есть система Watson - она подсказывает то, что человеку нужно делать в конкретном случае, выступает в качестве помощника.

Может ли система Watson работать онкологом, метеорологом, кем-то еще?

В качестве советника или помощника - да, безусловно. Под IBM Watson понимается общая система продуктов для любых прикладных сфер. Но в каждом конкретном случае необходимо настраивать систему для решения специфических вопросов.

В случае онкологии - это создание базы данных по конкретному заболеванию, например, раку легкого. В систему загружают огромное количество данных, включая деперсонализированные истории болезней пациентов. После этого врач задает вопрос о методе лечения конкретного пациента, и система дает ответ с учетом индивидуальных особенностей человека. Watson не берет на себя функции врача - все равно именно врач будет ставить диагноз и назначать лечение, но она помогает персонализировать лечение, очистить необходимые данные от ошибок и сделать подборку наилучших на данный момент вариантов лечения именно этого пациента.

Это важно, что система также проверяет все данные на легитимность и ошибки, поскольку в тех же врачебных данных могут быть ошибки. Проблема врачей (да и не только врачей, а современных специалистов вообще) еще в том, что они не успевают обучаться всему новому. Это не их вина. Просто если есть много работы, а у квалифицированного специалиста она всегда есть, то времени для обучения не хватает. Поэтому те же врачи часто используют не самые современные методы. А система Watson может предложить новый метод лечения, даже несколько методов, с определенной вероятностью излечения пациента и фиксированной степенью риска для его здоровья. И врач, посоветовавшись с пациентом или родственниками больного, может принять решение на основе этих данных. Еще раз стоит подчеркнуть, что ответственность лежит на враче, ведь ответы системы носят рекомендательный характер. Врачу система помогает, предоставляя самую новую информацию о том, какие методы подходят для конкретного больного.

Каким образом IBM Watson работает с естественным языком? Может ли система понимать контекст литературного произведения?

Однозначно, да. Но вопрос - зачем? Еще вопрос - кому это нужно, и кто за это платит? При работе с языком в плане обработки литературного произведения необходимо рассматривать текст в связи с историческим контекстом самой работы. Система может все понимать, если ей поставить такую задачу, включая произведения О. Генри, переводы которого лучше всего получались у Корнея Чуковского. Нужно сказать, что системы, работающие с языком, так же настраиваются и обучаются. В простейшем случае это тривиальный парсинг, то есть разбор очистка текста от излишней информации. Что касается Watson, то это, в первую очередь, создание словарей разных языков. Систему в любом случае нужно обучать с прицелом на конкретную задачу.

Я лично участвовал в проекте эмоционального анализа. Сегодня Watson улавливает эмоциональную окраску текста. Например, она научилась определять иронию. В целом, здесь снова речь заходит о выявлении корреляций. Что касается той же иронии - ее придумали еще древние греки. Кажется, любой человек распознает ее по каким-то определенным признакам. Если машину научить улавливать эти признаки, она тоже научится определять иронию.

Повторюсь, возможности системы определяются актуальностью решаемой задачи. В основном, в помощи IBM Watson нуждаются крупные компании, которым вряд ли нужно в первую очередь определять иронию в отчетах своих сотрудников (хотя и такое, наверное, бывает). А вот для них, в случае необходимости, мы настраиваем систему таким образом, чтобы она могла определять отношение пользователей/покупателей к брендам и продуктам компаний.