<...>Вопрос в том, сможет ли человечество контролировать эти машины. Главная опасность состоит в том, считает профессор MIT Макс Тегмарк, что такие системы смогут без вмешательства человека определять наиболее эффективные пути решения задач и даже создавать свои собственные цели, не учитывая при этом этических принципов, на которых построена человеческая цивилизация.
Примеры такого развития событий:
Система ИИ (искусственного интеллекта) общего типа, перед которой поставлена задача предотвращения эпидемии ВИЧ, может решить убить всех носителей вируса;
Военный дрон, оснащенный такой системой ИИ, может прийти к выводу, что для надежной нейтрализации выбранной цели необходимо уничтожить всю деревню, где эта цель расположена;
Система ИИ, которой поручено найти способ решения проблемы изменения климата на Земле, может прийти к выводу, что единственным выходом является полное уничтожение человечества.
Многие катастрофические сценарии развития систем супер-ИИ приводят к исчезновению человека как вида. Кроме того, социологи опасаются и другого рода кризисов - например, вытеснение человека из сферы активного физического труда, дестабилизация государственных структур, введение мер по всеобщему наблюдению и контролю.
https://www.bbc.com/russian/features-47172119
То, что называют "этическим", можно считать пресуппозициями в типовых "логических" дискурсах, в т.ч. связанных с формулировкой проблем. Иначе говоря, лично я не вижу больших проблем в части, упомянутой профессором. Считаю, что это пугалки.
Всегда можно аксиоматически задать вещи непремлемые в качестве решений.
Что думаете?