И снова (и снова) о вебе и кодировках русского языка

Примерно к 2001 году вопрос с кодировками для русскоязычных WWW-сайтов казался полностью решенным: все сколько-нибудь распространенные браузеры научились кодировке Windows-1251 и только ее можно было оставить на сайтах (выдавая правильный Content-Type)

Но жизнь на месте не стоит и появилась новая беда: UTF-8. Никаких проблем с самой кодировкой нет - все поддерживают, работать несложно, можно писать многоязыковые документы.

Сейчас расцветает динамика, которую рисуют разными видами яваскрипта (document.write, element.innerHTML=...). При выводе таких блоков есть safe way - выводим все в Unicode через HTML entities вида &#nnnn, правда вывод раздувается в шесть раз, ну да терпеть можно. Если кодировка страницы, на которой мы размещаемся, может быть только одна, то можно выводить в этой кодировке, если возможных кодировок несколько, то вывод Javscript должен соответствовать выводу HTML. А ведь на многих сайтах до сих пор стоит Russian Apache, и ведь предлагали мне делать его через Unicode.....

Ситуация становится резко хуже, когда скрипт и размещающая его страница имеют разных хозяев, разные настройки. Впрочем, safe way через &#nnnn остается.

Все становится еще хуже, если мы пытаемся обработать пользовательский ввод. Скажем так, как сделано у нас в Персональном Поиске или в Гиперпоиске, когда на странице размещается код примерно такого вида:

Этот код рисует поисковую форму, результаты поиска и так далее.

Пользовательский ввод доступен в URL, но в какой он будет кодировке ? Есть ли какой-то разумный способ узнать ? Естественно, кроссброузерный (IE5+, Mozilla, Opera 7+), не зависящий от транзитных перекодировок (т.е. на клиенте) ?

Я, к сожалению, такого способа не знаю: document.characterSet не работает в IE7 и IE5.5 (6-го под рукой не оказалось) и не работает в старых Операх, что сводит его ценность к нулю.

Это счастье усугубляется прочими мелочами, вроде кодирования query string в виде %uNNNN в некоторых случаях. И если UTF-8 еще можно распознать автоматом, то как отличить КОИ-8 от cp1251 по нескольким словам пользовательского ввода — совершенно непонятно.

Ужасы перекодировки возвращаются на новом уровне. Конечно, отдельно стоящего сайта они уже не касаются, а вот собирающих контент из разных мест - касаются со всей силы. Кто будет давить на Microsoft по поводу свойств документа ?

Впрочем, даже без строки запроса все уже не работает в случаях, хоть немного отличающихся от стандартных. Вот подвал одного из новостных сайтов при просмотре в koi-8 (что именно пишут в новостных анонсах обсуждать не будем):

p.s. Для нашего поискового скрипта завел отдельный ключик: сайт в UTF-8, который нужно ставить вручную на страницах с такой кодировкой. На КОИ8 наплевал.