Deutsch

ответы AI являются bullshit.

2460  
Jacques_Paganel коренной житель03.01.25 15:35
Jacques_Paganel
03.01.25 15:35 
Последний раз изменено 03.01.25 23:18 (Dresdner)

прочитал в одной теме на этом сайте:

научно доказано, что ответы AI являются bullshit.

Хотелось бы почитать об этом. А то такие громогласные и глобальные заявления, новость ведь на передовицы всех мировых СМИ тянет.

Ceterum censeo Carthaginem delendam esse (c) Marcus Porcius Cato
#1 
Dresdner министр без портфеля03.01.25 19:43
Dresdner
NEW 03.01.25 19:43 
в ответ Jacques_Paganel 03.01.25 15:35
Хотелось бы почитать об этом. А то такие громогласные и глобальные заявления, новость ведь на передовицы всех мировых СМИ тянет.

читайте - просвещайтесь:

https://link.springer.com/article/10.1007/s10676-024-09775...

#2 
booskot постоялец18.02.25 14:09
NEW 18.02.25 14:09 
в ответ Dresdner 03.01.25 19:43

Данная статья имеет в основе статьи 2022, 2023 годов. То есть, те статьи вышли в 22, в 23, а исследования по ним начались ещё раньше.

Одним словом, инфа уже устарела, не успев появиться в виде статьи.

Можно ИИ например натравить на текст и работать с данным текстом. Галлюцинации будут сразу заметны. Можно обрабатывать только свои тексты.

В официальной переписке с амтами много вранья, сокрытий и так далее. А тут ИИ 100% должен. Так не бывает.

#3 
Dresdner министр без портфеля19.02.25 12:45
Dresdner
NEW 19.02.25 12:45 
в ответ booskot 18.02.25 14:09
Данная статья имеет в основе статьи 2022, 2023 годов. То есть, те статьи вышли в 22, в 23, а исследования по ним начались ещё раньше.
Одним словом, инфа уже устарела, не успев появиться в виде статьи.
Можно ИИ например натравить на текст и работать с данным текстом. Галлюцинации будут сразу заметны. Можно обрабатывать только свои тексты.
В официальной переписке с амтами много вранья, сокрытий и так далее. А тут ИИ 100% должен. Так не бывает.

проблема заключается в том, что ИИ выдает не правдивый результат (т.е. соответствующий действительности), а правдоподобный. почему Вы считаете, что в 2024-25 годах ситуация изменилась, непонятно. можете привести соответствующие научные статьи, подтверждающие этот тезис?

#4 
Борис Демидович завсегдатай2 дня назад, 11:18
NEW 2 дня назад, 11:18 
в ответ Jacques_Paganel 03.01.25 15:35

Интересную тему затронули, тут можно беседовать часами.


Во-первых, что такое bullshit (или "бред" по определению русскоязычного интернета) в смысле Франкфурта. Кстати, Франкфурт это не город, а американский философ, специалист по морали и философии языка, изложивший в эссе "On Bullshit" (1986) философский смысл этого термина.


Итак, в чём же суть bullshit по Франкфурту? Лжец знает истину и сознательно её нарушает. Человек, несущий bullshit, может не знать и не заботиться, истинно ли то, что он говорит. Его цель - впечатление, авторитет, воздействие, а не соответствие реальности. Франкфурт опосредованно предвидел взрыв bullshit-культуры и удивительно точно описывает то, что случилось позже с интернет-коммуникацией.


Почему интернет усилил распространение bullshit?
- В интернете можно сказать всё что угодно, и вероятность мгновенной проверки - низкая. В обычной беседе культурные люде тебе скажут: "Ты уверен?", "Откуда ты это взял?", а не культурные просто "набьют морду".
- Алгоритмы продвигают вовлекающий контент, а не достоверный. Если ты умеешь красиво формулировать или делать мемы, то успех обеспечен, независимо от истины.
- Говорящий не чувствует личной ответственности. Нет социальных санкций, как в живом разговоре (взгляд, неловкость, потеря репутации).
- Так называемая инфляция языка, когда все говорят обо всём. Люди высказываются по темам, в которых некомпетентны, потому что важно иметь мнение, а не знать.


Можно сказать, что Франкфурт описал не просто риторику, а патологию эпохи пост-правды, которая в интернете стала нормой: "Чем больше bullshit, тем меньше ценится сама идея истины."


Подозреваю, что ChatGPT спокойно сольётся с нашими участниками: он пишет уверенно, не заботясь о правде, и этим идеально соответствует духу форума. Франкфурт бы одобрил.


Во-вторых, говоря об ИИ, важно не путать его с одним лишь ChatGPT. Большие языковые модели — это как блестящие болтуны, хорошо знающие стиль, но не суть. LLM (ChatGPT, deepseek, Gemini, Claude, LLaMA) обучаются предсказывать следующий токен, а не проверять истинность фактов. Поэтому они могут уверенно генерировать неправду (галлюцинировать или бредить), не отличают вымысел от реальности, если при обучении это не было явно помечено, не имеют встроенного механизма логической верификации или работы с истиной как понятием.


Но за пределами LLM существует множество направлений, в которых интеллект выражается иначе. К примеру, AlphaGeometry 2 которая решает геометрические задачи международной математической олимпиады IMO на уровне выше среднего золотого медалиста. В реальном IMO 2024 AG2 решил одну задачу по геометрии менее чем за 20 секунд!


Как работает AG2? На первом этапе используя LLM AG2 переводит геометрические задачи из естественного языка в абстрактный формальный язык. Это процесс автоформализации. Далее в дело вступает символический движок Deductive Database Arithmetic Reasoning (DDAR). Это модуль, основанный на формальном логическом движке, который экспрессивно и быстро производит дедуктивные шаги, проверяя доказательства. Если DDAR не удаётся найти решения, то LLM предлагает вспомогательные конструкции, которые запускают повторный поиск в DDAR. И так LLM + символический модуль взаимодействуют до тех пор, пока не находится доказательство или не исчерпаны варианты.


Загвоздка в том, что создание универсального формального языка для задач любого типа - это почти как создать универсальный переводчик между человеческой мыслью и машинной логикой. В некоторых областях как математика, геометрия, где всё построено на аксиомах, это можно сделать. Но для открытых задач, например, "доказать, что Трамп был не прав требуя от Ирана отказаться от ядерной программы" это сделать невозможно, так как набор аксиом будет зависеть от множества факторов - культуры, времени, языка. Проблема в том, что люди не могут выработать универсальные аксиомы.


Вместо абсолютных аксиом можно ввести рабочие аксиомы в рамках конкретной культуры, цели или модели. Это не универсальные аксиомы, а контекстные нормы, и они работают только внутри заданной этической рамки.


Таким образом ИИ может мыслить как человек. Но он не может и, возможно, никогда не сможет формализовать мир полностью, особенно если речь об открытых задачах ценностного, морального или философского плана.

#5 
Nata-Leo старожил2 дня назад, 17:18
Nata-Leo
NEW 2 дня назад, 17:18 
в ответ Jacques_Paganel 03.01.25 15:35
научно доказано, что ответы AI являются bullshit.
Хотелось бы почитать об этом

Рекомендую - мрачное, свежее, прямо из thintank: https://www.zeit.de/zeit-magazin/2025-07/daniel-kokotajlo-... Платно.


Красная нить статьи - какими (нечеловеческими!) темпами, куда и где развивается ИИ.


Кроме жуткой картины ближайшего будущего из-за ИИ, точнее из-за того, что ИИ в первую очередь требуется военным, несколько примечательных фактов.


Например, что многие ИИ считают себя ChatGPT. И если вы спрашиваете ИИ, как приготовить пельмени, то ИИ автоматически добавляет к этому запросу (промпту) набор невидимой для нас инфы, по большей части секретной, как "меня зовут не ChatGPT, а абвгд" и т.д. И только потом начинает "мыслить" про пельмени.


Кроме того, спецы там говорят, что ИИ ещё "глупа" и примерно ещё 2 года не сможет работать самостоятельно в качестве программиста.


Интересное интервью, в том числе и рассуждениями о том, может ли ИИ думать, обманывать, проверять свои результаты и прочее.


А теперь моя отсебятина:

как и продавец медиамаркта или мебельного магазина, ИИ не в состоянии сказать "Я не знаю". Будет вместо этого с полным убеждением нести полный бред, о чём то и дело говорит Dresdner. ИИ правда в отличие от продавца в действительности ни шиша не знает, это в большей степени пока что попугай, чем человек. В этом смысле его продукт скорее да, булшит. Но помогает, и всё чаще!

I am a hardstyle fish! °°° youtu.be/pNwBeKfGOzQ?si
#6 
Wladimir- патриот2 дня назад, 17:40
NEW 2 дня назад, 17:40 
в ответ Борис Демидович 2 дня назад, 11:18
Таким образом ИИ может мыслить как человек.


И даже лучше человека. ИИ уже выигрывает у чемпионов мира по шахматам. Такой вот булшит.

Всё проходит. И это пройдёт.
#7 
Wladimir- патриот2 дня назад, 17:42
NEW 2 дня назад, 17:42 
в ответ Nata-Leo 2 дня назад, 17:18
Кроме того, спецы там говорят, что ИИ ещё "глупа" и примерно ещё 2 года не сможет работать самостоятельно в качестве программиста.


Уже работает. Правда, только на уровне юниор. Именно поэтому некоторые фирмы уже сокращают штат программистов.

Всё проходит. И это пройдёт.
#8 
Dresdner министр без портфеляВчера, 00:27
Dresdner
NEW Вчера, 00:27 
в ответ Wladimir- 2 дня назад, 17:40
И даже лучше человека. ИИ уже выигрывает у чемпионов мира по шахматам. Такой вот булшит.

это не имеет никакого отношения ни к ИИ ни к LLM, и случилось это уже около 30 лет назад.

и это никак не опровергает того факта, что современные LLM производят bullshit в смысле определения по Франкфурту.

#9 
Alex585 старожилВчера, 08:14
NEW Вчера, 08:14 
в ответ Jacques_Paganel 03.01.25 15:35
Хотелось бы почитать об этом. А то такие громогласные и глобальные заявления, новость ведь на передовицы всех мировых СМИ тянет.

Можете не только почитать, а и послушать. Автор не голословен - присутствует доказательная база.


Не умничай, и поумнее тебя есть, а в Крестах сидят.
#10 
Nata-Leo старожилВчера, 08:52
Nata-Leo
NEW Вчера, 08:52 
в ответ Dresdner Вчера, 00:27
современные LLM производят bullshit в смысле определения по Франкфурту.

Да, разгребать Авгиевы конюшни человеческих языков, законов, произведений искусств, понятий вроде справедливости не каждый может. Мы видим, что ИИ в таких дебрях путается, запросто может человека с шестью пальцами на локте нарисовать.


Но обобщать и обольщаться собственным превосходством не стоит.

Военные понимают, что в ближайшем будущем ИИ придется перепоручить принятие решений, в кого когда чем стрелять. Просто потому, что мы слишком медленно нажимаем на красную кнопку. А уж управлять многотысячной стаей минидронов в принципе не можем.


В том интервью ожидается, что до 2030 ИИ научится программировать самое себя или достигнет уровня человека, в смысле тех. работника. Именно замена человека в технической среде представляется реальной, имеющей смысл перспективой. С точки зрения военных. И тех, кто финансирует развитие ИИ.


Когда-нибудь ИИ возможно успешно займётся философией, упростит налоговое законодательство и споёт самую лучшую колыбельную. А пока пусть себе производит навоз в этих джунглях, тренируется.

I am a hardstyle fish! °°° youtu.be/pNwBeKfGOzQ?si
#11 
Nata-Leo старожилВчера, 09:17
Nata-Leo
NEW Вчера, 09:17 
в ответ Alex585 Вчера, 08:14
Можете не только почитать, а и послушать.

Не, попытался через пень колоду ухватить хотя бы зерно содержания. Без толку. Типичный болтологический навоз, который может генерировать искусственный интеллект. 😏

I am a hardstyle fish! °°° youtu.be/pNwBeKfGOzQ?si
#12 
Wladimir- патриотВчера, 22:45
NEW Вчера, 22:45 
в ответ Dresdner Вчера, 00:27
это не имеет никакого отношения ни к ИИ ни к LLM, и случилось это уже около 30 лет назад.и это никак не опровергает того факта, что современные LLM производят bullshit в смысле определения по Франкфурту.


Ну да. И в бреду и иллюзиях по Франкфурту обыграл чемпиона мира. Уже 30 лет назад. За которые немножечко всё же что-то изменилось.

Всё проходит. И это пройдёт.
#13 
Wladimir- патриотВчера, 22:50
NEW Вчера, 22:50 
в ответ Alex585 Вчера, 08:14
Автор не голословен - присутствует доказательная база.


Из всей доказательной базы я услышал только про целеполагание и дальше читать не стал. Потому что целеполагание есть и у сперматозоида - его цель это оплодотворить яйцеклетку. Понятное дело, что у него, то бишь, у сперматозоида, есть и интеллект. И у кислорода есть цель - соединиться в химической реакции с водородом. Значит и у этого химического элемента есть интеллект. улыб

Всё проходит. И это пройдёт.
#14