MusicInforM
H o m e
MusicInforM


Резюме:

Описание программы X<>PoseIt (создание видеоэффектов в синхроне с музыкой).

X<>PoseIt – еще один шаг к синтезу изображения и музыки

П А В Е Л   Ж И В А Й К И Н
(На основе статей для журнала "Шоу-Мастер")

Идея сопровождать музыку какими-нибудь изображениями или световыми эффектами не нова. Самым известным ее проповедником являлся наш соотечественник – гениальный пианист и композитор Александр Николаевич Скрябин. И хотя в академической музыке такие опыты продолжают оставаться экзотикой, рок и поп-музыка воплощают мечту АНС “на полную катушку”. Подошла очередь и персональных компьютеров.

Все компьютерные программы по степени новизны можно разбить на две части. Первая и весьма многочисленная группа содержит программы, разрабатывающие уже сложившиеся идеи и технологии. Здесь сильна конкуренция, взаимовыгодный обмен идеями, используются наработанные приемы и инструменты. Каждая фирма выпускает свой продукт версия за версией, расширяя возможности, исправляя ошибки и добавляя новые функции. Поэтому можно с уверенностью утверждать, что если, к примеру, на рынке появится новый звуковой редактор, его цели и функции будут мало отличаться от уже имеющихся: копирование, микширование, реверберация и т.д.

Ко второй группе можно отнести появляющиеся время от времени программы, предлагающие принципиально новые возможности. Если идея такой программы оказалась плодотворна, то она будет и дальше развиваться, появятся конкуренты, сопутствующие программы (конверторы, подключаемые модули). В других случаях новации “не были подхвачены” и остались единственными и неповторимыми в своем роде: диктофон, автоматически включающий запись при появлении звука; виртуальная замена одних MIDI- и WAV-файлов на другие.

Некоторые идеи лежат на поверхности, их и придумывать не надо. Например, как только появились достаточно качественные программы записи и обработки звука, все музыканты с нетерпением стали ожидать выхода многодорожечной аудиостудии. Другие программы возникают как бы “на пустом месте”, например, создание специальной звуковой “атмосферы” в помещении - степь, джунгли, прибой.

Первые попытки

Насколько я знаю, одной из первых программ, которые пытались синхронизировать графические изображения и музыку, был MIDI-секвенсор Power Chords канадской фирмы Howling Dog System (Рис. 1). Вы могли установить в нужных тактах музыкальной пьесы значки, соответствующие той или иной картинке. Пьеса составлялась из заранее записанных паттернов - однотактных музыкальных кусочков.

Когда включалось воспроизведение, на специальном экране выбранные картинки сменяли друг друга - получался своеобразный фильм-комикс, в котором кадры появлялись в соответствии с музыкальным развитием.

Рис. 1 Главное окно программы Power Chords

На рисунке с главным окном программы видны панель инструментов (слева), экран с первым кадром комикса о забавных инопланетянах (в центре) и окно секвенсора (справа). К сожалению, ограниченные возможности программы по импорту графических и MIDI-файлов сдерживали энтузиазм по ее использованию.

Более широко принцип объединения звука и графики используется в программах-презентациях. Но они относятся к графическим (текст, картинки) и звуковым (аудио, MIDI) объектам как к равнозначным элементам. В своеобразном секвенсоре можно установить время появления и сохранения на экране картинки или начало и время проигрывания звукового файла. Окно редактирования этого секвенсора представляет собой бесконечную горизонтальную перфорированную ленту, подобную тем, что использовались для механических пианино начала века. Каждая дырочка на ней обозначает какое-либо графическое или звуковое событие (кстати, любой MIDI-секвенсор имеет подобный редактор, только дырочке соответствует нота).

Такую технологию использует, например, фирма Macromedia в популярных пакетах по созданию компьютерных презентаций Action и Macromedia Director. Визуальные эффекты, которые используют эти программы, не влияют на сам графический файл, а только описывают способы его появления и “ухода” с экрана. Например, картинка может “выплыть” прямо из поверхности фонового изображения, может постепенно “материализоваться прямо из воздуха”, “разжаться” из линии и т.д.

Несмотря на такой ограниченный набор средств, эти программы позволяли создавать довольно экспрессивные, хотя и абстрактные видеоклипы, которые можно было при наличии соответствующей платы переписать на видеомагнитофон. Кстати, именно в Action (году, по-моему, в 93) я начал совместно использовать аудио и MIDI в рамках одной программы.

Но все равно этих средств явно не хватало для рождения нового вида искусства – синтеза музыки и компьютерной графики.

Программа X<>PoseIt в режиме реального времени

Эти мысли приходят на ум при первом знакомстве с программой X<>PoseIt, разработанной фирмой ArKaos и включенной в продукты, распространяемые одним из лидеров на музыкальном программном рынке - компанией Steinberg. Сначала результат, который позволяет получить эта программа, приводит в восхищение: два-три движения мышью – и перед вами яркие психоделические узоры и мерцания. А если “подверстнуть” соответствующую музыку, легко почувствовать себя немного “пинк флойдом”. Но затем, после более близкого знакомства с возможностями продукта, начинаешь мучительно думать, где же все это можно применить, кроме как похвастаться перед приятелем.

Программа X<>PoseIt предназначена для создания видеоэффектов, которыми можно управлять в режиме реального времени прямо с компьютерной клавиатуры, или записать их последовательность во внутренний секвенсор программы (создать подобие видеоклипа). И в первом, и во втором случае последовательность появления картинок и эффектов на экране можно подстроить под музыкальный ряд (трек аудио компакт-диска или WAV-файл – на ваш выбор). Эффекты создаются путем обработки графических файлов форматов JPG или BMP. Некоторые эффекты имеют определенное время трансформации изображения (2-5 секунд), другие работают в замкнутом (бесконечном) цикле, пока клавиша остается в нажатом состоянии.

Интерфейс и работа с программой просты и интуитивно понятны, хотя и имеют необычный для Windows-приложений вид (и наверняка программа изначально писалась не для Windows). После запуска программы появляется окно, в котором расположены все основные элементы управления (Рис. 2).

Рис. 2 Главное окно программы X<>PoseIt

Вверху в центре находится панель просмотра. Слева от нее находится панель эффектов, а справа – панель картинок. Под панелью просмотра находится виртуальная клавиатура, а еще ниже – общая панель управления.

Панель эффектов содержит значки, каждый из которых соответствует одному или нескольким эффектам. Например, правый нижний эффект превращает выбранную картинку в плоскую равнину, по которой вы стремительно мчитесь навстречу горизонту. Эффекты загружаются в программу при ее запуске как подключаемые модули, так что имеется возможность наращивать их число.

Панель картинок содержит миниатюрные копии загруженных в программу графических файлов. Я нигде не нашел упоминания об ограничении их числа, но когда они все не помещаются на видимой части панели, навигация по ним осуществляется с помощью двух желтых стрелок (вверх и вниз).

Основное правило работы с программой можно сформулировать в двух предложениях. Вы выбираете картинку и перетаскиваете ее мышью на любую клавишу виртуальной клавиатуры, затем выбираете подходящий эффект и опять же перетаскиваете на ту же клавишу. Если после этого нажать на эту клавишу, на панели просмотра можно увидеть результат – а именно, то, что данный эффект будет “вытворять” с данной картинкой.

После того, как вы создадите определенное число пар (ограниченное количеством клавиш на клавиатуре), этот набор следует сохранить. Теперь можно запускать музыку и запускать различные видеоэффекты простым нажатием на соответствующие клавиши. Например, на Рис. 3 вы летите внутри бесконечной трубы, свернутой из фотографии с космонавтом.

Рис. 3 Полет внутри бесконечной трубы, свернутой из фотографии с космонавтом

Управление панелями программы

Панель картинок или панель эффектов можно убрать, чтобы на освободившемся пространстве более полно представить другие элементы главного окна. Например, на Рис. 3 панель эффектов видна целиком. Эти панели, а также виртуальную клавиатуру, можно двигать, ухватившись мышью за горизонтальные пунктирные линии.

Масштаб изображения клавиатуры можно поменять вертикальным слайдером-движком в ее левой части. На Рис. 4 вы видите, что клавиши, использующиеся в других программах для перемещения курсора, находятся в центре окна. Чтобы увидеть другие области виртуальной клавиатуры, необходимо воспользоваться серыми стрелками под этим слайдером. На этом рисунке хорошо также видно, что каждой клавише соответствует пара элементов: слева – картинка, справа - эффект. Если значок эффекта на клавише отсутствует, а значок картинки имеется, то при она будет появляться на экране без изменений.

Рис. 4 На зрителя мчатся гигантские пузырьки, в которых находятся сферические копии фоновой картинки

Работа программы в режиме секвенсора

Музыканты, привыкшие к многочисленным редакторским возможностям MIDI-секвенсоров, будут разочарованы. Данный секвенсор позволяет лишь записывать и воспроизводить время и длительность нажатия клавиш на клавиатуре. Никакой формы представления этих событий, никаких инструментов редактирования в данной версии программы не предусмотрено.

При нажатии на кнопку-треугольник в правой части панели просмотра появляется окно секвенсора (Рис. 5). В нем вы можете вызвать и озаглавить один из девяти треков (связанных между собой только тем, что используют общие назначения клавиш и хранятся в одном файле).

Рис. 5 На панели просмотра открыто окно секвенсора

Кроме того, в окне секвенсора вы можете установить режим просмотра “во весь экран”, зациклить воспроизведение секвенции и выбрать для каждого трека музыкальное сопровождение, задав номер трека аудио CD или имя WAV-файла. Режим “полного экрана” можно задать также, щелкнув по кнопке с лампочкой внизу на общей панели управления. Запись включается верхней кнопкой с красным кружочком. Повторная запись в тот же трек будет добавлять новые события к предыдущим, а не заменять их.

С выводами лучше не спешить

В принципе, это почти все, что нужно знать, чтобы работать с программой. Другое дело, насколько "художественным" выйдет результат. Чтобы получилась цепочка связанных между собой интересных эффектов, а не бессмысленное мелькание теней и бликов, нужно сначала хорошенько разобраться в них - как следует “погонять” все эффекты с различными картинками.

Одни эффекты в качестве фона используют саму картинку, другие – то, что осталось на экране от применения предыдущего эффекта. Как уже говорилось, одни эффекты работают в бесконечном цикле, другие имеют строго ограниченное время действия. Одни эффекты лишь слегка модифицируют исходное изображение, другие делают начальную картинку совершенно неузнаваемой.

Помимо прочего, одни эффекты имеют достаточно высокое качество изображения, другие – заметную “зернистость”, ведь программа использует разрешение экрана 300х200. Кстати, данная версия программы работает только в режиме цветности “high color” (16 bit) – не выше и не ниже.

Можно одновременно включать несколько эффектов. Но, во-первых, надо подобрать, чтобы они удачно сочетались. Во-вторых, иногда нарушается плавность движения – изображение меняется скачками, правда, на музыке это не отражается.

Насколько “революционен” вклад, внесенный программой X<>PoseIt в дело синтеза изображения и музыки? Как уже отмечалось, идея синхронизировать эти события была задолго до этого воплощена в программах-презентациях. Многие эффекты трансформации исходной картинки можно найти в различных GIF-аниматорах и программах морфинга. До настоящей интерактивности, то есть работы в режиме диалога с компьютером, пока далеко. Музыка используется только как фон (вот если б можно было назначать клавишам и конкретные звуковые файлы или управлять программой по MIDI!).

Фактически новым в программе является то, что появление видеоэффектов на экране можно вызывать прямо с компьютерной клавиатуры в режиме реального времени. И, конечно, наибольшее сожаление вызывает невозможность экспортировать созданный фильм в какой-либо видеоформат (например, в AVI).

MusicInforM
Начало страницы
MusicInforM
Сайт управляется системой uCoz