Спаситель цивилизации или угроза для планеты? Как ИИ используют в медицине, экологии, праве и госуправлении? К чему это приводит?

ИИ в медицине: уменьшение мозга, появление Homo perfectus, сверхумный комбинатор для поиска терапии

Сергей Львович Киселев, д.б.н., профессор, специалист в области биотехнологии и молекулярной генетики, писатель, научный редактор книги «Машина творения», «Почему мы умираем»

Как ИИ помогает сфере здравоохранения?

Обсчет большинства задач, поставленных человеком, целесообразно проводить на компьютере, хотя аналогичные задачи можно решить на абаке, или арифмометре, или даже в уме. Но дольше. Поэтому ИИ используется в разработке любых технологий, включая медицинские — в тех кейсах, где надо быстро перебрать множество вариантов и учесть тысячи условий (увы, заниматься этим с помощью «естественного» интеллекта — задача скучнейшая и убийственная для этого интеллекта).  

Какие документы в России охраняют этическое начало всех медицинских проектов?

Надеюсь, что никакие, так как любой «охранный» документ — это немедленный конец началу разработки. Опыт многих стран, включая Россию, об этом свидетельствует. Наверное, после Нюрнберга наиболее значимой в мире является Хельсинская декларация Всемирной медицинской ассоциации 1964 года. Но, к счастью, этот документ распространяется не на начало, а на конец разработок, а именно, он вводит критерии допустимости исследований на людях. 

В чем ключевой вред, наносимый ИИ человеку?

Пожалуй, стоит начать с того, что наделять компьютерное железо и программы интеллектом как минимум неэтично, а как норма — пагубно.

Современное компьютерное моделирование за счет успехов в развитии песочных (кремниевых) технологий достигло уровня, который с помощью написанных программ позволяет хранить и с определенной скоростью каталогизировать поступающие фрагменты отрывочной информации. В результате пользователь за небольшой отрезок времени может получить набор слов, созвучный введенным ключевым словам. Из-за давления (в первую очередь в медиа-пространстве) этот набор букв кажется правильным принимать как осмысленный. Но это не имеет отношения к познанию и решению проблем, ибо машина действует по алгоритму, заложенному несколькими миллиардами людей с разным уровнем знания, образованности, верования и так далее, включая сытость.

Увы, интеллект пользователя на физиологическом уровне от этого, несомненно, страдает. Так, с развитием письменности, исчисления и других приятных нам вещей за последние 15 тысяч лет мозг человека уменьшился. А ведь именно с объемом мозга связывают «наше превосходство». Генетические изменения пока не обнаружены, но, когда их обнаружат, наверное, будет поздно, так как Homo perfectus придет на смену Homo sapiens (так человек себя сам когда-то и назвал. Типа, разумный).

То есть в перспективе могут появиться люди-мутанты, которые подчинят человеческий вид?

Люди-мутанты — это мы с вами, так как все немного отличаемся друг от друга из-за мутаций. Между расами их больше. Да, из-за сущности жизни как агрессии, конечно, мы пытаемся всех себе подчинить. Если получится с помощью биотехнологий подчинить самих себя себе, то наверняка Homo sapiens будет заменен на какой-то другой, менее «разумный», но более длительно существующий вид. Наши двоюродные братья — денисовец, неандерталец — как минимум втрое перещеголяли нас по времени существования на Земле. Пока прошло 200 тысяч лет, как появился Homo sapiens, а мы уже ищем себе замену. 

ИИ в биотехгонке: надо ли странам надо инвестировать в фарму и биоразлагаемую электронику

Кирилл Онохин, директор по науке исследовательской компании «Экселлена» 

Может ли ИИ дать одним странам громадное преимущество в разработке лекарств и лечении болезней и/или «обмануть» всех неверными прогнозами и спровоцировать мировой кризис здравоохранения?

Говорить о том, что искусственный интеллект является «панацеей» с точки зрения постановки диагнозов или формулирования прогнозов успеха терапии, безусловно, нельзя. Нужно относиться к нему как инструменту для профессионалов, а не «сверхразуму», который заменит врача. ИИ уже широко применяется в медицине, например в области обработки и анализа медицинских изображений, таких как рентгенограммы и КТ-сканы. Это, скорее, роль «второго мнения» для повышения точности и эффективности диагностики, но окончательное решение принимает именно врач, а не машина.

ИИ также успешно применяется и в фармотрасли — современные подходы с использованием нейросетей (опять же в качестве инструмента!) позволяют прицельно искать новые терапевтические молекулы или мишени для терапии различных заболеваний, что существенно снижает стоимость и время начальной разработки лекарственных препаратов. Таким образом страны, фармкомпании которых имеют в руках такие технологии, получают существенное преимущество в фармацевтической гонке вооружений.

Правда, что есть перспективы появления альтернатив кремниевой электронике?

ДНК-компьютинг и биохранилища (по сути, основа для биоразлагаемой электроники) имеют огромный потенциал как передовые технологии будущего, однако нужно акцентировать внимание на слове «будущего». Существует широкий спектр проблем и барьеров в данной области. Опустим вопросы этические и юридические, хотя они очень важны, остановимся хотя бы на технических — скорость записи и чтения информации, вероятность ошибок при синтезе ДНК (ферменты, которые синтезируют ДНК тоже ошибаются, у человека, например, это может приводить к возникновению серьезных заболеваний). Ну, и работа с ДНК в больших объемах — очень дорогостоящий процесс.

Но! Наука не стоит на месте, появляются новые методы и оборудование, которое в будущем позволит снизить стоимость таких подходов. Страна, которая первой сможет преодолеть выявленные барьеры и внедрит данную технологию в систему, безусловно, совершит новую научно-техническую революцию и получит огромные преимущества во всех сферах деятельности человека, поэтому подобные проекты должны регулироваться на международном уровне.

ИИ в экологии (парадоксов друг!): от супербыстрой оценки экорисков до создания биологического оружия

Полина Позднякова, основатель бюро экологического комплаенса FUTUR, преподаватель НИУ «Высшая школа экономики» в Петербурге

Как ИИ используется для защиты природы?

На текущий момент его функционал в решении экологических задач довольно широк. Это и прогнозирование природных явлений (лесных пожаров, наводнений, цунами и пр.), и построение цифровых моделей природных объектов (например, есть цифровая модель Озера Байкал, созданная с использованием ИИ), и экологический комплаенс (подготовка экологической отчетности и проверка ее на соблюдение обязательных требований).

Компании используют машинное обучение для мониторинга объектов природы (допустим, чтобы своевременно обнаруживать изменения в экосистемах лесов, состоянии водных объектов, почв). Алгоритмы за секунды видят то, на что у человека ушли бы недели: выявляют незаконные вырубки, отслеживают здоровье леса по плотности и высоте деревьев, фиксируют загрязнение воды или деградацию почв.

В сельском хозяйстве «умные» системы помогают эффективно расходовать энергию, экономить воду, снижать выбросы парниковых газов и бороться с эрозией почв. ИИ помогает на сортировочных станциях и  мусороперерабатывающих заводах — нейросети сортируют мусор, позволяя выбрать то, что еще можно использовать повторно.

Фактически ИИ стал суперпомощником, который обрабатывает большие данные там, где человеческих сил уже не хватает. Но парадокс в том, что сами ИИ-модели требуют огромных ресурсов: дата-центры Google и Microsoft уже значительно нарастили выбросы парниковых газов  (на 48% и ~30% соответственно, за 2024 год) из-за того, что на использование нейросетей растет спрос. Получается, что инструмент для спасения планеты одновременно может стать угрозой для нее.

Может ли ИИ применяться в создании вредоносных разработок?

ИИ, как и любая мощная технология — это палка о двух концах. Ученые опасаются, что потенциально его можно применить для создания биологического оружия. Алгоритмы могут ускорить проектирование опасных белков или вирусов с заданными свойствами или «маскировать» опасные вирусы и токсины, что представляет угрозу не только для людей, но и для целых экосистем. В теории ИИ способен помочь в создании генно-модифицированных организмов или нанотехнологий с непредсказуемыми последствиями для природы. Пока это больше сюжет для научной фантастики, но игнорировать такие риски точно нельзя.

Как контролируется применение ИИ в экосфере?

Прямо сейчас — практически никак. Регулирование ИИ по всему миру только формируется. В Евросоюзе недавно приняли EU AI Act, который лишь косвенно затрагивает экологию, например, предлагая компаниям добровольно снижать энергопотребление алгоритмов. В США обсуждают закон об изучении влияния ИИ на окружающую среду (Artificial Intelligence Environmental Impacts Act), но он пока лишь на стадии законопроекта. Если его все-таки примут, то Агентство по охране окружающей среды будет обязано провести исследование воздействия ИИ на окружающую среду, а Национальный институт стандартов и технологий (NIST) — создать консорциум заинтересованных сторон и систему добровольной отчетности об экологическом следе ИИ.

Можем ли мы в принципе доверить ИИ решение экологических проблем?

Пока только как перспективному, но все же студенту-первокурснику. У ИИ есть свои слабые места: он прожорлив в части энергии, часто работает как «черный ящик» (непонятно, как он пришел к тому или иному выводу), а его решения могут не учитывать социальные нюансы (например, интересы коренных малочисленных народов, предлагая экологические решения, экологические особенности территорий, данных о которых пока мало).

Главный принцип — технологии не должны заменять человека, они могут только дополнять его. Окончательные решения, особенно в таких сложных вопросах, как экология, должны оставаться за людьми. Искуственный интеллект — это очень эффективный инструмент для обработки больших массивов данных, ускорения рутинных операций etc., но это не панацея и не повод снимать с нас ответственность.

ИИ в праве: правда ли юристы просят ChatGPT написать иск и найти нужный закон

Юрий Брисов, Партнер Digital & Analogue Partners

Просят ли юристы у ИИ написать иск или найти подходящий закон?

Да, юристы действительно спрашивают ChatGPT, как делить квартиру или писать иск. Это стало новой привычкой у всех, включая профессионалов. Причем, если старшее поколение юристов относится к ИИ как к помощнику — источнику быстрых справок, замене младшего юриста, за которым надо проверять, то новое поколение юристов воспринимает ИИ как равноправного коллегу. Студенты юрфаков доверяют модели так, как доверяли бы преподавателю: задают вопрос и принимают ответ без критики.

Как такое возможно?

ИИ пишет без запинок, уверенно, много — и создает иллюзию знания. Когда алгоритм выдает текст в стиле юриста, у пользователя создается ощущение, что перед ним эксперт. Но ChatGPT — не юрист. Он не знает ни закона, ни фактов, ни контекста. Он лишь подбирает слова, которые чаще встречаются рядом в юридических документах. ИИ не сможет предложить свежее решение или даже дать правильный ответ, лишь статистически наиболее вероятный. 

Из-за этого уже были проблемы?

Самый известный юридический скандал — дело Mata v. Avianca (имел место в США, в 2023-м). Юристы подали в суд ходатайство, полностью написанное ChatGPT, со ссылками на шесть несуществующих дел. Судья Кастель назвал это «позором для профессии» и с ним сложно спорить. Подобные случаи происходили в Колорадо, Австралии, Канаде — юристов штрафовали, дисквалифицировали, а суды прямо указывали в регламентах: тексты, созданные ИИ, должны проходить ручную проверку.

Недавний пример из корпоративного мира — отчет Deloitte, где нейросеть вставила фрагменты, не прошедшие верификацию. Скандал был показательным: даже крупнейшие компании не всегда понимают, что такое генеративный ИИ и где проходит граница профессиональной ответственности.

А это правда проблема или просто анекдоты об отдельных нерадивых юристах?

Юрист, который подменяет собственное суждение алгоритмом, теряет профессиональный навык — критическое мышление. И это не мелочь, а вопрос доверия к профессии. Как практикующий юрист и преподаватель права, я вижу, как молодые юристы все чаще начинают работу не с анализа фактов, а с запроса в ИИ. Они не проверяют, а уточняют. ИИ становится для них первоисточником — он формирует не просто ответы, а картину мира. Это особенно тревожно, когда мы говорим о профессиях, где ошибка может быть дорога — юристов, врачей, финансистов.

К чему это может привести?

Если эта тенденция закрепится, появится поколение специалистов, которые не понимают, как устроен закон, но умеют генерировать его текст. Юристов, способных писать договоры без понимания их логики. Консультантов, которые уверенно цитируют нормы, которых нет. Следовательно, в таких специалистах не будет смысла.

Сначала человек перестает быть актором, и становится пассивным участием процесса, а потом ИИ начинает задавать роли, определять, какие профессии для людей останутся актуальными. Пока что число ошибок и ложных интерпретаций растет по всему миру. Эту проблему уже признали системной: OpenAI официально ограничил функции ChatGPT для юридических, финансовых и медицинских консультаций.

Что делать?

Использовать ИИ стоит как помощника — для поиска, черновиков, систематизации данных, для сортировки массива практики, но не для решений, не для расставания приоритетов, определив, что важно, а что нет. Любой документ, написанный нейросетью, требует проверки, ссылки — верификации, а вывод — личной ответственности.

Право как система держится на двух китах: принципе универсального сомнения и профессиональной ответственности. И если юрист перестает подвергать сомнению данные, не стремится найти истину, потому что алгоритм быстро подобрал удобный ответ, если юрист снимает с себя ответственность за найденные решения  — в этот момент право перестает быть человеческим.

ИИ в управлении государством: советуются ли мэры и министры с нейросетями

Александр Бухановский, руководитель исследовательского центра «Сильный ИИ в промышленности» Университета ИТМО

Можно ли себе представить ситуацию, когда министр или мэр какого-то города использует ИИ в формате запроса: «ChatGPT, как будем развивать город»?

Все зависит от того, про какой ИИ идет речь. Если рассматриваются системы общего назначения, как тот самый ChatGPT, то такое вполне возможно. И связано это с потерей критического мышления из-за отсутствия должного просвещения в сфере ИИ. Дело в том, что современные системы генеративного ИИ (в отличие от многих других наукоемких технологий) имеют субъективно очень низкий порог вхождения. Иными словами, искусственный интеллект является безотказным, а за одобрение полученного результата должен нести оценку сам пользователь. При этом часто пользователь имеет иллюзию, что ИИ все делает правильно, а иногда не хочет или даже не может тратить время на проверку. Встречается даже некоторое «религиозное чувство» по отношению к ИИ. Исправляется ситуация просто — тотальным просвещением в части правильных практик работы с искусственным интеллектом.

Однако если мы говорим об экспертах своей области, в том самом управлении городом, то для них главное правило — не использовать любительские инструменты там, где есть профессиональные. Профессиональные ИИ-ассистенты как раз обучены тонкостям решаемых задач, специфике отрасли и полноценно владеют знаниями в своей области. И для таких систем вопрос «как нам развивать город» вполне уместен. Поскольку далее ИИ, как заправский эксперт-урбанист, разложит задачу на составляющие, отдаст их на проработку ИИ-агентам, а потом коллегиально выработает решение. В этой ситуации риск ошибок гораздо ниже, но, увы, все равно остается. Как и живой специалист, ИИ действует в условиях неопределенности и неполноты данных и, соответственно, имеет объективное право ошибиться.

Если представить себе такую ситуацию, в чем тут будут главные риски? Какие фундаментальные ошибки можно допустить?

Главный риск здесь состоит не в самой ошибке ИИ, а в неумышленном создании своего рода «дипфейка». В том случае, когда ИИ ошибся в реферате школьника — это проблема только школьника, и она легко корректируется учителем.

Однако, когда ошибки ИИ по недосмотру выдаются за правду серьезной, авторитетной организацией (как в примере с отчетом Deloitte [для правительства Австралии]), то они как бы получают знак качества. И потом исправить их уже гораздо сложнее, потому что для проверки нужно иметь ресурсы уровня той самой авторитетной организации.

Еще опаснее может быть ситуация, когда на основе ошибочных суждений ИИ создаются эхо-камеры: общество начинает обсуждать некий ложный факт, не сомневаясь в его достоверности. В итоге факт обрастает деталями и мнениями, становясь все правдоподобнее. Такие эффекты известны еще со времен информационных войн прошлого, однако некритическое отношения к ошибкам ИИ может сделать этот процесс лавинообразным.

К чему это может приводить?

К массовым катастрофам и захвату мира искусственным интеллектом это не приведет. Люди спохватятся гораздо быстрее, и в итоге появятся сложные процедуры и регламенты работы с материалами ИИ, их независимой оценки, проверки и пр. Сложность в том, что для серьезных задач необходимые на проверку решений ИИ ресурсы могут быть сопоставимы с теми, что нужны для получения результата «вручную», без использования ИИ. Таким образом, возникает печальная ситуация, когда очень полезная трансформационная технология (ИИ) будет дискредитирована неумелыми и непрофессиональными действиями пользователей, и в итоге не будет применяться на все 100%.

Что делать?

Необходимо проверять решения, которые выдает искусственный интеллект. То есть, для минимизации рисков нужно:

• для профессиональных задач использовать только доверенные профессиональные системы ИИ, а не модели общего назначения;
• применять мультиагентные системы ИИ, в которых агенты могут проверять и контролировать друг друга, то есть ввести своего рода коллективную ответственность;
• просвещать общество в части правильного использования ИИ, а также готовить отраслевых специалистов так, чтобы они могли выступать квалифицированными заказчиками систем ИИ в своей области.

ИИ в программировании: не создают ли программисты то, что их уничтожит

Эдгар Сипки, ИИ-аналитик

Есть ли сейчас значимое количество программистов, которые пишут программы так: «ChatGPT, напиши бэкенд для интернет-магазина»?

Накануне я был в Сколково и слушал классный доклад о том, как в одной компании, которая занимается аутсорс-разработкой приняли решение, об оптимизации штата после внедрения ИИ. Но не в плане увольнения, а в плане перераспределения задач. Отделы стали меньше. Почему? Потому что половина функционала перенесена на искусственный интеллект. Мне безумно понравилась фраза, которой они описали эту ситуацию: «появление языковых моделей в IT-индустрии подобно появлению конвейера в производстве автомобилей». 

При этом есть проблема фриланс-бирж. Туда прилетело большое количество людей, которые не имеют ничего общего с IT-индустрией, но представляют себя ИИ-программистами. Они берут заказы, работают очень дешево, однако качество решений абсолютно отвратительное. При этом заказчики теперь также нередко формируют техническое задание тоже через ChatGPT. Получается что заказчик и исполнитель общаются друг с другом словами нейросети. 

Что в этом плохого?

Первая проблема — дыры в безопасности. Вторая — количество багов. Продукт, полностью написанный DeepSeek или ChatGPT все равно будет работать очень плохо. Уже сейчас появились должности на фриланс-биржах: люди, которые могли бы покопаться в коде, сгенерированном ИИшкой, и исправить критические ошибки. 

К чему может привести распространение такой практики?

Если на секунду представить мир, в котором так поступает большинство компаний, произойдет катастрофа. Инфраструктура интернета в какой-то момент начнет деградировать. ИИ всегда генерирует неоптимальный код — это значит, что сначала сайты будут загружаться 10 секунд, вместо пяти, а потом 40 секунд вместо 10. И так случится со всей IT-отраслью. 

Каков шанс, что это произойдет?

Уже сейчас мы видим, что во многих стартапах нет программистов. Они делают продукты не имея в штате людей, знающих языки программирования, опираясь на ИИ-разработку. Это будто бы говорит о том, что такой сценарий реален.

Однако все же цель стартапов максимально быстро вытащить на рынок какой-то продукт, а не стабильно работать в течении многих лет. Крупные компании, я уверен, продолжат нанимать программистов, ведь риски для них слишком велики. Если ваш интернет-магазин будет загружаться на пять секунд, а полторы минуты, покупатели перейдут к конкурентам.   

Текст: Константин Крылов, Дарья Скаянская