Полностью согласен - нынешние нейросети на самом деле никакие не ИИ, а всего лишь улучшенное средство доступа к информации с определенной долей intelligence: они дают подсказки (далеко не всегда правильные), ссылки, генерят данные (но только на основе уже загруженных в него данных), иногда галюцинируют - т.е. сочиняют то, чего нет. Но поскольку все это обставляется вежливым обращением, генерацией картинок, звуков, имитацией голоса и пр., то создатеся впечатление, что общаешься с чем-то / кем-то наделенным умом.
В этом и состоит цель современных нейросетей - подать себя, как ИИ, на самом деле таковыми еще не являясь, но уже кажущихся таковыми.

А собственно чего ожидаешь от ПО - копилота например? Того же сгенерированного кода, не больше. Это как в той же игре в шахматы - насколько интеллектуальна та же Альфа Зеро (чемпионка по шахматам среди машин)? - Да ни на сколько, - это лишь обычный шахматный автомат, который обучен принимать решения в игре не на основе дерева расчета вариантов (как прежние программы) с их Альфа-Бетта отсечениями для сокращения количества вариантов, а на основе сравнения текущей позиции в партии с сотней- другой миллионов загруженных в в него партий с их типовыми позициями и их решениями. В этом отношении эта программа не умнее типового станка с ЧПУ.
Я уже писал выше - настоящий ИИ должен уметь пройти полный тест Тьюринга и обмануть экзаменатора, представляясь человеком. Это значит он должен осознать себя. И вот если это произойдет - тогда все.
В ближайшее время этого не ожидается (хоть и обещают к 2025 году ). Скорее к этому времени научат нейросети очень хорошей поверхностной имитации человеческого поведения и большинством это будет воспринято как "подлинный ИИ". Впрочем для большинства пиплов этого вполне будет достаточно, чтобы поверить в подлинность.