Возникновение интересов это атрибут субъектности. То есть получается масло масляное…А как доказать то, что это «в принципе возможно»?Или тут речь о субъективно ощущаемой ненулевой вероятности, как у агностика в отношении наличия бога?

Наверное, волк тоже себя субъективно как то ощущает. Или кот. По крайней мере, у них есть интеллект. Интеллект есть даже у муравья. Он ведь умеет считать до десяти, как некоторые дикари столетие назад. Ну а где интеллект, там и язык. Просто у животных он больше на уровне запахов. А у человека на уровне звука. Звуки формируются в слова, слова в предложения, предложения в истории. Вот примерно так и с ИИ. Звуки - это машинный язык, язык битов информации, бин которой может быть чем угодно - пикселем, буквой, цифрой.. Слова - это уже язык нового уровня. Асемблер, который имеет совсем другой понятийный аппарат, чем машинный язык. Ещё выше уровнем - язык компиллятора. Язык команд. Это уже предложения, если сравнивать с языком человека. Ну и так далее, вплоть до ИИ,

Так вот, ИИ таки вполне себе Интеллект, потому что он основан на тех же процессах эмерджентности, как и мозг человека. Поэтому и сознавать себя в принципе может. Да вот только цели у него нет, как нет и мотивации.

Это напомнило мне историю с пришельцами. Исходим из того, что они были на Земле, есть и сейчас, но вступать в контакт не торопятся. И на призывы не отвечают. Простейшее объяснение - а многие ли учёные стремятся войти в контакт с цивилизацией муравьёв? Изучить их язык и таки установить контакт? И много ли муравьёв хотят войти в контакт с учёными? Вопросы риторические. Не говоря уже о том, может ли цивилизация муравьёв начать войну с человечеством.

Вот так же и с ИИ. Думать он может как человек, но в контакт с ним в той агрессивной форме, о какой писали Вы в самом начале не вступит. Даже если и осознает себя субъектом.

Человеку нужно бояться самого себя. Это он вместо шахматной доски может сделать для ИИ реальное поле сражения.