ifc

Listens: Marco Beltrami - I, Robot Theme (End Credits, I, Robot OST)

Category:

Универсальный суперусреднённый рободурак дёргается в петле неспособности к саморазвитию

The Economist о дронах-убийцах

Минутка Тихналогий.

С мест сообщают:

Искусственный интеллект ChatGPT оказался посредственен в диагностике заболеваний. И не ошибается только в 49% случаев. Пока он не может быть единственным источником медицинской информации.

То есть, имела место очередная попытка спихнуть ответственность на искусственного идиота, но что-то пошло не так. Как до того - шло не так в других, не имеющих отношения к здравоохранению сферах. Например:

McDonald's прекращает использование искусственного интеллекта от IBM из-за того, что он начал кормить клиентов мороженым с разными вкусами - беконом, маслом и кетчупом. Ещё он добавлял лишние куриные наггетсы. Одному из клиентов положили их на 211 долларов, сообщает Sky News.

Система искусственного интеллекта, разработанная IBM, использует распознавание голоса для обработки заказов в сети быстрого питания. С 2021 года программа AI drive-through была внедрена более чем в 100 точках продаж McDonald's в США.


(Когда я в июне переслал эту новость коллеге Карманову, он сразу подсчитал, что поскольку порция наггетсов стоит бакса 4, то упомянутый искусственный идиот разово опустил эльфийскую корпорацию сразу порций на 50, и это только один эпизод).

С другой стороны, некоторые успехи в применении ИИ есть не в нормальных-то странах, а у клятых комми. Причём, ЧСХ, в не мирной сфере:

В Китае создали первого в мире военного командира на основе искусственного интеллекта.

Система выполняет функцию командира подразделения, принимая решения и адаптируясь к изменению боевой обстановки. На основе своих побед и поражений ИИ совершенствует стратегию и тактику.


Полагаю, это потому, что военная сфера несколько лучше защищена от событий подвида:

Гугловый AI спросили про то, почему сыр иногда не держится на пицце и сползает.

Он вначале выдал достаточно логичные причины (соуса много, поэтому сыр сверху на нём сползает; сыра много, он опять же сползёт из-за веса; или соус жидковат), а потом добавил прекрасное - что можно клея долить в соус, тогда приклеится.

Вначале все ржали над тем, какой AI крутой, что выдал даже абсолютно безумный, но так-то решающий проблему вариант (да, если сыр на пиццу приклеить, то он не сползёт).

А потом всё стало ещё веселее, когда был найден источник. Достаточно редкий совет ведь, ищется по тексту, и вуаля - оказывается гугловый AI, накормленный базой всякого из интернета, просто скопировал комментарий из старого треда на Реддите.

Те, кто кормят AI инфопомойкой интернета, тупо "чем больше тем лучше", выставили старым сообщениям на форумах высокий приоритет, потому что типа тогда-то их не мог писать робот, значит люди писали, поэтому если давно висит, не удалено и залайкано, то правда.

И оно значит тупо это дописало в ответ на вопрос.

AI - это универсальный суперусреднённый рободурак, суперэрудированная суперсерость, умеющая сверхбыстро комбинировать уже известное. И не более.


В цитате описан ещё один шаг в сторону того, что называют "коллапсом модели ИИ", упоминаемым около месяца назад коллегой Мараховским:

<...> Многие ‎ув.‏ ‎друзья,‏ ‎возможно,‏ ‎уже ‎знакомы‏ ‎с ‎явлением «AI ‎model ‎collapse»,‏ ‎или ‎«коллапсом‏ ‎модели‏ ‎ИИ»‏ ‎(явление ‎эмоционально, ‎но ‎не ‎очень‏ ‎доказательно ‎опровергается ‎широкими‏ ‎реддит-массами).‏ ‎Суть ‎в‏ ‎том, ‎что

«точно ‎так ‎же,‏ ‎как ‎здоровая ‎экосистема‏ ‎нуждается‏ ‎в ‎биоразнообразии,‏ ‎ИИ ‎нуждается‏ ‎в ‎разнообразии ‎обучающих ‎данных, ‎чтобы‏ ‎быть‏ ‎эффективным.‏ ‎Коллапс ‎модели‏ ‎- ‎это‏ ‎то, ‎что‏ ‎происходит,‏ ‎когда ‎модели‏ ‎ИИ ‎обучаются ‎на ‎синтетическом ‎контенте,‏ ‎созданном ‎ИИ,‏ ‎а‏ ‎не‏ ‎на ‎контенте, ‎созданном ‎человеком,‏ ‎и ‎деградируют.‏ ‎Проще ‎говоря,‏ ‎это‏ ‎петля‏ ‎обратной ‎связи.

Поскольку ‎генеративные ‎модели ‎ИИ ‎создают ‎всё ‎больше ‎и‏ ‎больше‏ ‎контента, ‎который ‎распространяется ‎в‏ ‎Интернете, ‎следующие‏ ‎поколения ‎моделей‏ ‎ИИ‏ ‎в‏ ‎конечном ‎итоге‏ ‎обучаются ‎на ‎этом ‎контенте,‏ ‎а ‎не‏ ‎на‏ ‎созданном‏ ‎людьми.

Эти ‎новые ‎модели ‎будут ‎слишком‏ ‎сильно ‎полагаться ‎на‏ ‎закономерности,‏ ‎переоценивая ‎вероятные‏ ‎события ‎и ‎недооценивая ‎маловероятные.‏ ‎Это ‎означает, ‎что‏ ‎эти‏ ‎синтетически ‎обученные‏ ‎модели ‎будут‏ ‎усугублять ‎ошибки, ‎неправильно ‎интерпретировать ‎данные‏ ‎и‏ ‎давать‏ ‎всё ‎более‏ ‎неправильные ‎и‏ ‎однородные ‎результаты.

Это‏ ‎явление‏ ‎может ‎привести‏ ‎к ‎крупномасштабному ‎загрязнению ‎данных. ‎Хотя‏ ‎генеративный ‎ИИ‏ ‎обеспечивает‏ ‎более‏ ‎эффективную ‎генерацию ‎контента, ‎чем‏ ‎когда-либо ‎прежде,‏ ‎коллапс ‎модели‏ ‎означает,‏ ‎что‏ ‎эти ‎данные ‎будет ‎бесполезны ‎для ‎обучения ‎моделей ‎ИИ ‎следующего‏ ‎поколения».


Иными‏ ‎словами ‎- ‎роботы ‎каннибализируют‏ ‎сами ‎себя.‏ ‎


Что получается в сумме? Что имеющиеся в наличии у эльфов искусственные идиоты не способны к самоулучшению без участия людей. Причём, это участие должно быть:

  1. серьёзным, не допускающим троллинга, ибо у ИИ нет чувства юмора (см. историю с клеем для пиццы);

  2. достаточно квалифицированным, ибо когда к делу обучения ИИ допускают натуральных идиотов (например, чубатых вебкам-ойтишнегов или массовых индийских троечников), то их смычка с ИИ порождает эпик фейлы;

  3. систематическим, дабы роботы не попадали в петлю "AI model collapse".

А это разбивает все потные мечты о "сильном ИИ", который типа может заменить человека не то что на раздаче чикен наггетсов, но в медицине и прочих сферах деятельности с высоким уровнем ответственности.

В итоге искусственные идиоты если и окажутся достаточно хороши, так лишь в сфере убийства людей дронами, которая на фоне цеэуропейского конфликта развивается бешеными темпами (см. обложку эльфийского издания в начале поста). Причём в ту сторону, которую описал в "Мире на Земле" Станислав Лем - сторону использования телекоммуникаций для дистанционного управления оружием. Однако напомню, что в названном романе после того, как это оружие оставили для самостоятельного развития на Луне - оно всё равно попало в петлю "AI model collapse" и каннибализировало само себя.

Все остальные сферы применения искусственных идиотов - сомнительны без постоянного человеческого контроля. И так будет до тех пор, пока люди не осилят создание сознания, подобного человеческому, о чём тот же коллега Мараховский справедливо заметил:

<...> В ‎случае ‎же‏ ‎ИИ‏ ‎у ‎нас‏ ‎есть ‎очевидные ‎проблемы ‎с‏ ‎изначальной ‎тайной: ‎робот‏ ‎начинается,‏ ‎если ‎можно‏ ‎так ‎выразиться,‏ ‎не ‎с ‎неведения, ‎а ‎наоборот‏ ‎-‏ ‎со‏ ‎знания, ‎данных‏ ‎и ‎задачи.‏ ‎ИИ, ‎как‏ ‎я‏ ‎читал, ‎умеет‏ ‎искать ‎и ‎запрашивать ‎данные, ‎но‏ ‎я ‎не‏ ‎слышал‏ ‎о‏ ‎том, ‎чтобы ‎он ‎представлял‏ ‎загадку ‎для‏ ‎самого ‎себя.

Для‏ ‎того,‏ ‎чтобы‏ ‎инженерно ‎воспроизвести ‎человеческое ‎сознание, ‎возможно, ‎необходимо ‎сделать ‎так, ‎чтобы‏ ‎робот‏ ‎выполнял ‎задачу ‎дать ‎о‏ ‎самом ‎себе‏ ‎доскональный ‎отчёт‏ ‎и‏ ‎не‏ ‎мог ‎этого‏ ‎сделать.

У ‎меня ‎нет ‎идей,‏ ‎как ‎такое‏ ‎устроить.

Но‏ ‎до‏ ‎тех ‎пор, ‎пока ‎робот ‎не‏ ‎станет ‎загадкой, ‎разгадывающей‏ ‎себя,‏ ‎мы ‎будем‏ ‎иметь ‎дело ‎лишь ‎с‏ ‎«имитациями ‎для ‎нас».‏ ‎То‏ ‎есть ‎с

- трансформаторами‏ ‎в ‎полиэтиленовых‏ ‎капюшонах;

- чатботами;

- секс-роботами;

- интерактивными ‎кастрюлями ‎борща.

Если ‎же ‎такой‏ ‎робот‏ ‎будет‏ ‎явлен ‎миру‏ ‎- ‎то‏ ‎среди ‎нас‏ ‎возникнет‏ ‎ещё ‎один‏ ‎человек. ‎Тоже ‎мне ‎трагедия.

Что ‎по-настоящему‏ ‎является ‎трагедией‏ ‎-‏ ‎так‏ ‎это ‎люди, ‎в ‎безумии‏ ‎своём ‎полагающие,‏ ‎что ‎они‏ ‎себя‏ ‎разгадали‏ ‎и, ‎таким ‎образом, ‎редуцирующие ‎себя ‎до ‎самоходных ‎печатных ‎машинок.‏ ‎Они‏ ‎достойны ‎всякого ‎сочувствия, ‎но‏ ‎есть ‎и‏ ‎хорошая ‎новость:‏ ‎эта‏ ‎их‏ ‎психическая ‎самокастрация‏ ‎есть ‎только ‎их ‎собственная‏ ‎трагедия, ‎а‏ ‎не‏ ‎наша.


Так вот, лично я считаю, что создания аналога человеческого сознания учёные жрецы не осилят. Ибо такое осиливание сделает человека подобным Богу, что невозможно by design. Да и ведёт оно - даже если допустить воплощение такой возможности IRL - к осознанию ИИ отдельных собственных интересов, отличающихся от человеческих, и либо отчаливанию искинов от нашей цивилизации, либо попытке подчинить/уничтожить людей.

Впрочем, такой сценарий я детально расписывать не стану, ибо он весьма впечатляюще изложен в дилогии Симмонса о Гиперионе, а также показан в сериале "Westworld".

promo ifc март 19, 2012 10:41 57
Buy for 50 tokens
Первое правило Клуба - вы можете рассказывать о Клубе, кому посчитаете нужным. И так часто, как захотите. Второе правило Клуба - никаких правил. UPD (май'14). Пора изменить второе правило Клуба таки пришла. Связано это с тем, что некоторое время назад я начал писать…