Common audit

Smorkalov1 rtesrt try aert ery r5t Yura2 Dmitrievich ORCID: 0000-0001-7063-8067 Doctor of Biology teacher; faculty of FIVT; if you teach in several; if you teach in several 109240, Russia, Republic of Medvedevo, Barnaul, Gogolevsky blvd., 12, building 1, 55 sq. m. andrey.smorkalov@gmail.com Other publications by this author

Vasil'ev-Gimalaitsev Petr Doctor of Cultural Studies

123афические потоковые процессоры УРА характеризуются большой степенью параллелизма, обладая сотнями и даже тысячами вычислительных ядер, но накладывают на выполняемые алгоритмы большое число ограничений (в основном, из-за изначальной ориентированности на задачи 3D-графики), которые делают невозможным прямой перенос алгоритмов обработки изображений для выполнения на потоковых процессорах. Среди этих ограничений отсутствие рекурсии, прямого доступа к памяти на запись, неопределенный результат чтения из результирующего изображения и др.

`Gamma`

Между тем, превосходство потоковых над обычными процессорами в десятки раз по вычислительной мощности делает перспективным обработку двумерных изображений именно на потоковых процессорах.

Не менее перспективной является идея использования потоковых процессоров для обработки изображений в браузерных приложениях в связи с их ограниченным доступом к вычислительным возможностям центрального процессора. Прямое исполнение кода на центральном процессоре из браузерного приложения невозможно без использования специально разработанного дополнительного модуля для браузера (плагина). Механизм поддержки плагинов варьируется от браузера к браузеру, что вносит дополнительные трудности и требует разработки плагинов под каждый поддерживаемый браузер.

Долгое время обработку изображений в браузерных приложениях можно было реализовать с помощью двух основных подходов: с использованием Java-апплета и с использованием Flash-компонента. Так, например, для обработки изображений в java-апплетах широко используется библиотека ImageJ ^[1].

При использовании обоих подходов требуется установка специальных плагинов, что является во многих случаях нежелательным или невозможным (по соображениям безопасности, ввиду отсутствия плагина для нужной платформы или браузера, ввиду недостаточной квалификации пользователя для установки, а также по другим соображениям). Кроме того, в обоих случаях обработка изображений производится байт-кодом, выполняемым на виртуальной машине Flash или Java. Таким образом, скорость обработки изображений будет значительно уступать скорости программ на компилируемых языках, таких как С/С++ и тем более скорости обработки изображений на графических потоковых процессорах.

С появлением стандарта HTML5 стала возможна обработка изображений непосредственно на языке javascript c использованием элемента canvas ^[3]. Преимущество метода заключается в отсутствии необходимости установки каких-либо плагинов, однако

1. Программа обработки изображений выполняется на виртуальной машине javascript.

2. Использование возможностей многоядерных процессоров затруднено.

Эти два фактора негативно отражаются на производительности подхода. По приводимому в ^[3] графику видно, что скорость описываемого подхода в несколько раз уступает скорости обработки изображений с помощью ImageJ (рис. 1).

В настоящее время все большее распространение получает технология PixelBender ^[2], реализованная в Adobe Flash начиная с версии 10.0. Эта технология позволяет в ограниченном объеме использовать возможности потоковых процессоров, разрабатывая программы для них на специальном языке, специфичном для Flash.

Существенные минусы PixelBender:

1. Технология реализована внутри Flash, а значит требует установки плагина и имеет все перечисленные проблемы технологий, требующих плагинов.

2. Специальный язык ограничивает доступ к вычислительным возможностям потоковых процессоров, ограничивает простор для оптимизации и т.д.

10 февраля 2011 года была опубликована спецификация открытого стандарта WebGL ^[5] – реализации OpenGL ES 2.0 для использования в браузерных приложениях. WebGL дает возможность разрабатывать OpenGL-программы непосредственно на javascript, включая использование вершинных и пиксельных шейдеров. Таким образом, становится доступной вся функциональность потоковых процессоров.

Для использования WebGL не требуется установки дополнительных модулей, поддержка технологии реализуется непосредственно в браузере. Перечисленные качества делают технологию перспективной для организации обработки изображений в браузерных приложениях.

Составим математическую модель обработки изображений, опираясь на особенности и возможности WebGL. Будем рассматривать изображение в цветовой модели RGBA:

U(x, y) = {f_R(x, y), f_G(x, y), f_B(x, y), f_A(x, y)}, (1)

где f_R(x, y), f_G(x, y), f_B(x, y), f_A(x, y) — это дискретные функции, заданные табличным методом. f_R(x, y) представляет красный канал изображения, f_G(x, y) - зеленый, f_B(x, y) - синий, f_A(x, y) - альфа-канал. Значения этих функций лежат в диапазоне ^{[0, 1]}.

Результатом преобразования G изображения А на основе изображения B будем называть R = G(A, B, x, y) (2), где А — это исходное изображение, B – растеризуемая фигура, G — преобразующая функция.

Цветовой маской будем называть множество M = {M_R, M_G, M_B, M_A} (3), где M_R, M_G, M_B, M_A могут принимать значения из множества {0, 1}. Результатом преобразования G изображения А на основе изображения B с учетом цветовой маски M будем называть R_q = G_q(A, B, M, x, y) = G_q(A, B, x, y) * M_q + A * (1 – M_q) (4), где q – любой из цветовых каналов.

Геометрическая фигура S = {V, F, {r, g, b, a}} (5) задается множеством двумерных векторов вершин V и множеством индексов вершин F, а также цветом фигуры {r, g, b, a}. Растеризация представляет собой преобразование, результатом которого является изображение:

U(x, y) = G_R(G_P(S, M_P)) (6), где G_R – растеризующее преобразование, M_P – матрица проецирования, G_P — проецирующее преобразование.

В результате проецирующего преобразования G_P получается спроецированная фигура S_P = G_P(S, M_P) = {P, F, {r, g, b, a}} (7).

Спроецированная фигура S_P задается множеством двумерных векторов спроецированных вершин P = {P₁,…, P_N}, множеством индексов вершин F = {F₁, ..F_{3 * M}}, а также цветом фигуры {r, g, b, a}. Отметим, что P_i = V_i * M_P (8) для всех i Î {1..N}.

G_R(x, y) = {{r, g, b, a}, если существует тройка (F_{3 * k + 1}, F3 * k + 2, F_{3 * k + 3}), где k – целое число от 1 до M / 3, такая, что (x, y) принадлежит треугольнику, образованному вершинами P_i1, P_i2, P_i3, где i1 = F_{3 * k + 1}, i2 = F_{3 * k + 2}, i3 = F_{3 * k + 3}, {0.0, 0.0, 0.0, 0.0} в противном случае} (9).

Был предложен перспективный подход к обработке изображений в браузерных приложениях, который позволяет осуществлять довольно сложные преобразования в режиме реального времени. Подход успешно апробирован на ряде реальных примеров (рис. 5).

Метод показывает высокую производительность. Так box-фильтр и фрактал Мандельброта рассчитываются предлагаемым методом в ~15-110 раз быстрее, чем при использовании подхода ^[3], в зависимости от выбранного сочетания центрального и графического потокового процессоров.

рей Сморкалов <andrey.smorkalov@gmail.com>
Кому: vacademia <vacademia@googlegroups.com>