Ну так пусть косятся, если им больше себя занять нечем. Если для вас важнее, чтобы на вас не смотрели "косо", то тогда придется сидеть "от забора и до заката".
Но только сначала задайте себе вопрос: насколько важно вам мнение этих людей? Важнее ли она для вас того, что находится за этим забором?
Если вы считаете, что с этими людьми вы не просто связаны общим местом работы, то это одно дело. А если, выйдя с работы, вы не испытываете горячего желания продолжать с ними общение, то, поверьте, для вас будет лучше выдержать на себе чей-то минутный косой взгляд, чем еще час сидения рядом с этим человеком и упущенные возможности для вашего отдыха, занятия всякими вашими хобби и т.д.
У меня все сидят до 17 часов, шеф уходит еще позже. Я встаю из-за стола в 16-40 и иду, неторопясь, к электричке, чтобы проветрить мозги. Первые несколько дней тоже были косые поглядывания на меня и на часы... Теперь уже вроде привыкли.