Тогда она скорее всего не связана с IP адресом. Насколько я помню томкат а.) такого не умеет б.) считать что все запросы приходящие с одного IP принадлежат одной сессии - большая дыра в безопасности.
Посмотрите, у вас куки JSESSIONID для вашего сервера (его домена) в IE появляется? Какое у нее значение? Тоже самое что выдает ваш лог в "DCC_4 (25) I: request for access key: 540C407B5B9122D19AFC1588C2A49579" Скорее всего у вас идентифиация по куки используется.

Если она остается на веб-сервере то она через полчаса помрет. Стандартная настройка томката - время жизни Http сессии 30 минут.

Что такое SSL сертификат знаете? Апплеты можно подписывать (sign). Подписанному (signed) апплету браузер может дать право выйти из "песочницы" - читать и писать файлы, открывать соединения с другими хостами, читать системные переменные, изменять куки и те пе.
Неподписанному апплету браузер доверять не имеет права. Почитайте, например, docs.oracle.com/javase/tutorial/deployment/applet/security.html

На этот вопрос я могу ответить четко и однозначно: "когда как" :)
Комбинировать надо. Куки без expiration удаляются браузером когда он закрывается. Но не отдельный таб. Чтобы при закрытии отдельного таба удалить определенные куки - яваскрптом ловим (как его правильно, этот ивент... ) unload вроде бы у окна и сами их трем.
У меня еще один вопрос возник - а как ваш апплет общается с RMI сервером? Вообще-то на другой порт (1099) соединение неподписанному (не привелигериванному) апплету открывать нельзя.
И давайте сформулируем что же вам надо. "запретить открытие второго окна" = не давать больше чем одному логину (X и Y в моем примере) работать в одной и той же сессии
Т.е. если в сессии S1 (с идентификатором вроде 540C407B5B9122D19AFC1588C2A49579) уже залогинен пользователь как X, то не давать еще одному пользователю логинится (как X или как Y - не важно) в этой же сессии?
А в другой сессии S2 (с другим идентификатором, с другого компьютера, например) можно?
Или что-то другое?