Новые соединения. Цифровые космополиты в коммуникативную эпоху - Этан Цукерман

Понятно, что англоязычные новостные ресурсы не смогли послать своих корреспондентов в Ланьсян проверить информацию Times. Понятно также, что сотрудники большинства освещающих Китай ресурсов не в состоянии читать материалы крупнейших китайских газет, и это вызывает серьезную озабоченность. Однако не прошло и суток после публикации, как материал Qilu был переведен на английский язык и размещен на EastSouthWestNorth – сайте, который ведет признанный переводчик с китайского на английский Роланд Сун. И хотя на сайт Суна ежедневно заходят многие представители англоязычного мира, следящие за китайскими СМИ, журналисты, освещающие эти события, не обратили внимания на материал газеты Qilu. Из всего этого можно сделать вывод, что даже при наличии перевода важного материала его легко пропустить, если он не лежит на привычных нам путях поиска информации, не оказывается у нас в почте и не выскакивает в поисковых системах, как местный новостной сайт.

Авторы New York Times, по-видимому, допустили ошибку потому, что их источники предоставили им неточную информацию. Другие англоязычные издания исказили историю, потому что не смогли или попросту не посчитали нужным прочесть, как те же события описываются в китайской прессе. Мы по-прежнему далеки от ситуации, когда англоговорящие журналисты в равной степени использовали бы китайские и английские источники для разносторонней оценки и максимально полноценного отражения событий в Китае.

Краткая история машинного перевода

7 января 1954 года представители команды Джорджтаунского университета и IBM провели в нью-йоркской штаб-квартире компании демонстрацию замечательного устройства – компьютерной системы, которая переводила русские предложения на английский язык. На следующий день Роберт Пламб писал в New York Times:

«Девушка-оператор набирает на клавиатуре следующий русский текст английскими буквами: “Mi pyeryedayem mislyi posryedstvom ryechi”. Машина практически сразу печатает перевод: “We transmit thoughts by means of speech”. Оператор, не владеющая русским, снова печатает лишенные (для нее) смысла русские слова: “Vyelyichyina ugla opryedyelyayetsya otnoshyenyiyem dlyini dugi k radyiusu”. И машина переводит: “Magnitude of angle is determined by the relation of length of arc to radius”».[186]

И пусть словарный запас разработанной Джорджтаунским университетом и IBM программы составлял всего 250 слов и знали они лишь шесть грамматических правил, все равно это был технический триумф. Тем более что память компьютера, на котором она работала, – IBM 701 – не превышала 36Кб, а писать ее пришлось на ассемблере[187] системному программисту IBM Питеру Шеридану. Поскольку программировать на IBM 701 было совсем не просто, Шеридан начал с создания прототипа программы: он собрал не знающих русского добровольцев и раздал им словарные карточки и собственные инструкции на английском языке. Задача волонтеров была сначала найти каждому английскому слову подходящий русский перевод, а затем, пользуясь инструкциями Шеридана, вычленить корень слова, выбрать верное окончание или изменить их порядок в предложении.

Если масштаб состоявшейся в 1954 году демонстрации был весьма скромным – машинный перевод составил 60 тщательно отобранных предложений, то амбиции разработчиков скромными никак не назовешь. Профессор Леон Достерт, разработавший языковую модель, столь кропотливо запрограммированную Шериданом, отметил, что, если сегодня «у нас еще нет возможности загрузить русскую книгу на одном конце и получить английский перевод на другом», в будущем «через пять лет, а может быть три года, межъязыковое преобразование смыслов посредством электронных процессов в важных функциональных областях нескольких языков вполне может стать свершившимся фактом». Для создания таких программ, считал Достерт, потребуется словарь в 20 тысяч слов и 100 грамматических правил – по сути, нужно было лишь расширить продемонстрированный уже прототип.[188]

Прогноз Достерта сегодня может показаться смехотворно оптимистичным, но система, над которой он размышлял, разрабатывалась для перевода научных журналов, а не Толстого или Пушкина. Достерт знал, что словарные системы перевода сталкиваются с серьезными проблемами из-за лингвистической неоднозначности, потому что естественный человеческий язык чрезвычайно неоднозначен. Во многих языках есть омонимы – слова с одинаковым написанием, но разными значениями, нередко встречается также полисемия – когда слово может иметь близкие, но все же различные значения в зависимости от контекста: «Отложив ручку, она протянула ручку и дернула за дверную ручку». Еще более сложные явления, такие как метафора, аллегория или каламбур, переносят задачу на еще более высокий уровень; простым подыскиванием слов в словаре и расстановкой их в грамматически правильном порядке такие задачи не решаются.

Когда переводчик решает, как перевести слово «ручка», то, прочитав и поняв фразу, он выбирает соответствующее слово на языке перевода на основе контекста, в котором это слово было использовано. На испытаниях 1954 года большинство предложений были из области физики и химии – и потому, что разработанная Джорджтаунским университетом и IBM программа должна была переводить научную литературу, и потому, что в контексте научной литературы степень неоднозначности некоторых из используемых терминов заметно снижается.

Чтобы решить проблему контекста и найти способ переводить слово «ручка» правильно, более современные системы перевода пользуются не словарями и грамматическими правилами, но статистическими и вероятностными моделями. Такие системы основываются на громадных объемах текста, так называемых корпусах. Большинство систем используют два корпуса. Первый – это набор предложений на языке перевода, позволяющий программистам разрабатывать «языковую модель». Анализируя это собрание предложений, языковая модель «понимает», что фраза «the blue car» в английском встречается чаще, чем «the car blue», и, выбирая между возможными вариантами перевода, предпочитает грамматически верный не потому, что знает правила грамматики, а потому, что этот вариант является наиболее распространенным. Второй корпус – это собрание предложений, которые были переведены людьми с одного языка на другой, с помощью этого корпуса создается «модель перевода». Модель перевода сообщает, что «el coche azul» чаще всего переводится с испанского как «синий автомобиль», хотя иногда встречается и вариант «авто цвета лазури». Так перевод нового текста становится цепью обоснованных догадок, когда модель перевода подбирает возможные эквиваленты предложения, а языковая модель стремится обеспечить грамматическую верность и читаемость.

Этот метод – статистический машинный перевод – стал возможен только в конце 1980-х. До тех пор компьютерам просто не хватало мощности для работы с огромными объемами данных, необходимыми для построения работающих моделей языка. Если для программы Джорджтаунского университета и IBM использование словаря в 250 слов было амбициозной задачей, корпус, который Google использует в качестве модели английского языка, состоит более чем из 95 миллиардов английских предложений. Учитывая объем данных, необходимых для эффективного использования этого метода, преимущество в их создании получили поисковые системы. Сам процесс индексирования сети предоставляет прекрасную возможность расширения языковых моделей. Однако даже такая система, как Google-переводчик, часто оказывается в рамках необходимости искать заслуживающие доверия параллельные корпусы текстов, а также фразы, переведенные на один или несколько языков.

Найти параллельный корпус совсем непросто, поскольку выполненный профессионалами высококлассный перевод (традиционно) стоит немалых денег. А работоспособность подобных систем обеспечивается их громадными размерами. Составленный Консорциумом лингвистических данных параллельный корпус для перевода между английским и китайским языками включает 200 миллионов слов, что много больше, чем в каждом из этих языков, однако для эффективной работы слова должны быть употреблены в самых разных контекстах. Многие тексты, которые мы могли бы использовать, как, например, переводы романов Стивена Кинга на десятки иностранных языков, остаются для нас недоступны из-за авторских прав. В поисках высококачественных переводных текстов в свободном доступе программисты часто используют правительственные документы: официальные резолюции ООН, переведенные на шесть рабочих языков организации; заседания Европейского парламента, в которых используются документы, переведенные на 23 официальных языка; постановления Канадского правительства, публикующиеся как на английском, так и на французском.

Поскольку процесс статистического машинного перевода – это, по сути, выбор наиболее вероятного перевода из набора примеров, использование таких источников приводит к возникновению забавных побочных эффектов: в машинном переводе мы все немного смахиваем на европейских парламентариев. Действительно, такие системы, как правило, куда лучше справляются с переводом официальных документов, чем с переложением полных сленга и жаргонных словечек мгновенных сообщений.