Есть опасения, что использование торговых систем на базе искусственного интеллекта может дестабилизировать финансовые рынки. © Surasak Suwanmake / Alamy

Дилемма Коллингриджа звучит как заглавие секрета Шерлока Холмса. Фактически, это одно из лучших объяснений того, насколько сложно контролировать рискованные технологии. Фактически, речь идет о дисбалансе между несовершенной информацией и укоренившейся властью.

«Когда перемены происходят легко, их невозможно предсказать; когда потребность в переменах очевидна, они становятся дорогостоящими, трудными и требуют много времени », — написал ученый Дэвид Коллингридж в своей книге. это Социальный контроль технологий.

Как мы можем действовать, имея дело с известными неизвестными? С этой дилеммой сегодня сталкиваются регулирующие органы, пытаясь оценить влияние искусственного интеллекта на финансовую отрасль. Как и два последних отчета от Банк международных расчетов а также ОЭСР объясните, мы подошли к критической точке. Хотя преимущества ИИ очевидны, с точки зрения повышения эффективности и лучшего обслуживания риски часто неясны.

В более ранней статье, опубликованной Массачусетским технологическим институтом, Гэри Генслер предупредил, что широкое распространение моделей глубокого обучения ИИ может даже повысить хрупкость финансовой системы. Хорошая работа. Сейчас Генслер возглавляет Комиссию по ценным бумагам и биржам США и может ответить на ранее высказанные опасения.

Нет недостатка во взглядах на принципы, которым должен следовать искусственный интеллект. Согласно AlgorithmWatch, берлинской некоммерческой организации, по крайней мере 173 набора правил ИИ были опубликованы во всем мире. Трудно не согласиться с благородными намерениями этих руководящих принципов, которые обещают честность, подотчетность и прозрачность. Но задача состоит в том, чтобы претворить высокие принципы в повседневную практику, учитывая: сложность, повсеместность и непрозрачность стольких видов использования ИИ.

Автоматизированные системы принятия решений одобряют ипотечные и потребительские ссуды и выделяют кредитные баллы. Системы обработки естественного языка проводят анализ настроений в корпоративных отчетах о прибылях и убытках и пишут индивидуальные инвестиционные советы для розничных инвесторов. Страховые компании используют системы распознавания изображений для оценки стоимости ремонта автомобиля.

Хотя использование ИИ в таких случаях может повлиять на права — и собственность — отдельных лиц и клиентов, они не несут системного риска. Многие из этих проблем включают будущее законодательство, включая искусственный интеллект ЕС правила. Эти законодательные инициативы разумно требуют от любой организации, внедряющей систему ИИ, использовать соответствующие и беспристрастные данные, обеспечивать соответствие результатов ее целям, объяснять, как это работает, и помогать установить ответственность, если что-то пойдет не так. Да.

Более непонятный вопрос касается использования торговых систем на основе ИИ, которые могут дестабилизировать финансовые рынки. «Если все системы обучены на одних и тех же данных и на одних и тех же типах алгоритмов, существует риск стада, игры или сговора», — говорит Сара Гадд, руководитель отдела данных и решений ИИ в Credit Suisse.

«Вы должны очень внимательно следить за этими вещами — или не использовать их», — говорит он. «У вас должен быть правильный аварийный выключатель, чтобы отключать вещи за миллисекунды и иметь людей, на которых можно опереться. Вы не можете заменить человеческий интеллект машинным ».

Но другие отмечают, что внезапные сбои произошли задолго до того, как ИИ был применен на финансовых рынках. Вопрос в том, ухудшают ли их системы ИИ. По его словам, в системах ИИ нет ничего волшебного, это всего лишь статистический метод. Юэн Кирк, основатель Cantab Capital Partners, инвестиционный фонд, использующий торговые алгоритмы. «Единственное, что искусственный интеллект умеет находить, — это невероятно тонкие эффекты, которые требуют большого объема данных и, вероятно, не являются системными по своей природе», — говорит он. Причина экстренного отключения не в том, что программа ИИ может разрушить финансовую систему, добавляет он, а в том, что она, вероятно, содержит ошибку.

Лучший способ справиться с дилеммой Коллингриджа — повысить осведомленность об ИИ в организациях и обществе в целом и проверить силу укоренившихся интересов, которые могут помешать необходимым изменениям. Несколько регулирующих органов уже добиваются этого, открывая форумы по ИИ, разрабатывая нормативные песочницы для тестирования и проверки алгоритмов и внедряя свои собственные системы машинного обучения для мониторинга рынков.

Но есть аргумент, что существуют также неизвестные неизвестные, как выразился бывший министр обороны США Дональд Рамсфелд, и что в определенных обстоятельствах мы должны применять принцип предосторожности. Регулирующие органы должны быть готовы запретить использование самых экзотических или плохо спроектированных систем искусственного интеллекта до тех пор, пока мы не лучше поймем, как они работают в реальном мире.

john.thornhill@ft.com

Получать уведомления, когда публикуется новая история

Повторно использовать этот контент (Открывается в новом окне) ЗамечанияПерейти в раздел комментариев