Поиска по сайту
 

Восстановление искаженных пикселей изображений на основе текстурно-геометрической модели

Статья опубликована в научном журнале «Фундаментальные исследования» № 12 (часть 1) 2015 г.

УДК 004.932

ВОССТАНОВЛЕНИЕ ИСКАЖЕННЫХ ПИКСЕЛЕЙ ИЗОБРАЖЕНИЙ НА ОСНОВЕ ТЕКСТУРНО-ГЕОМЕТРИЧЕСКОЙ МОДЕЛИ

Воронин В.В.1, Семенищев Е.А.1, Франц В.А.1, Свирин И.С.2

1ФГБОУ ВПО «Донской государственный технический университет», Ростов-на-Дону, Россия (344010, Ростов-на-Дону, пл. Гагарина, 1)
2ЗАО «Нордавинд», Москва, Россия

Представлен новый метод реконструкции двумерных сигналов на основе текстурно-геометрической модели и раздельного восстановления структуры и текстуры изображений с помощью понятий параметрической и геометрической непрерывности контуров. Показано, что предлагаемый подход позволяет восстановить изогнутые контуры путем интерполяции границ объектов кубическими сплайнами. На следующем этапе предлагается осуществлять синтез текстуры путем моделирования авторегрессионной модели случайных полей с возможностью прогнозирования значений пикселей однородных текстур. Параметры АР модели оцениваются методом Юла-Уокера. Несколько примеров, рассмотренных в статье, показывают эффективность предлагаемого подхода. Продемонстрировано, что предлагаемый метод позволяет уменьшить ошибку восстановления при реконструкции структуры и текстуры изображений при удалении больших объектов, а также восстановлении небольших областей на тестовых изображениях.

Ключевые слова: обработка изображений, реконструкция, синтез текстур, авторегрессионная модель.

IMAGE RECOVERING USING TEXTURE-GEOMETRIC-BASED MODEL

Voronin V.V.1, Semenishchev E.A.1, Frantc V.A.1, Svirin I.S.2

1Don State Technical University, Rostov-on-Don, Russia (344010, Rostov-on-Don, sq. Gagarina, 1)
2CJSC «Nordavind», Moscow, Russia

In this paper an image inpainting approach based on the construction of a composite curve for the restoration of the edges of objects in an image using the concepts of parametric and geometric continuity is presented. It is shown that this approach allows to restore the curved edges and provide more flexibility for curve design in damaged image by interpolating the boundaries of objects by cubic splines. After edge restoration stage, a texture restoration using 2D autoregressive texture model is carried out. The image intensity is locally modeled by a first spatial autoregressive  model with support in a strongly causal prediction region on the plane. Model parameters are estimated by Yule-Walker method. Several examples considered in this paper show the effectiveness of the proposed approach for large objects removal as well as recovery of small regions on several test images.

Keywords: image processing, reconstruction, texture synthesis, metric, AR model.

Введение

В процессе передачи и преобразования двумерные сигналы подвергаются воздействию различных помех, что в ряде случаев приводит к ухудшению визуального качества и потере участков изображений. Оценивание истинных значений пикселей в той или иной степени необходимо в большинстве задач цифровой обработки изображений. Методы реконструкции двумерных сигналов находят свое применение в задачах обработки архивных документов в виде изображений, имеющих различные искажения (например: царапины, пятна, пыль, не нужные надписи, линии сгиба).

Большинство методов реконструкции изображений можно условно разделить на следующие группы: методы на основе решения дифференциальных уравнений в частных производных (PDE) [1]; методы на основе ортогональных преобразований [2]; методы на основе синтеза текстуры [3-4].

Использование известных методов реконструкции статических двумерных сигналов требует значительной априорной информации, уменьшение которой существенно усложняет процесс обработки изображений, и в ряде случаев делает обязательным визуальный контроль и использование экспертных оценок. Неспособность восстанавливать текстуру изображений и изогнутые контуры ограничивает область использования известных методов, которые в основном применимы при удалении царапин и небольших дефектов на структуре изображений.

Целью данной работы является повышение точности реконструкции изображений на основе текстурно-геометрической модели.

1. МАТЕМАТИЧЕСКАЯ МОДЕЛЬ

При реконструкции важным этапом является выбор модели изображения, от которого зависят все последующие этапы восстановления. В общем случае любое изображение по локальным геометрическим особенностям можно разделить на несколько областей – текстура и контуры. На изображении присутствуют текстурные, в том числе однородные области, разделенные границами, которые могут иметь толщину несколько пикселей и иметь различную пространственную конфигурацию. На рисунке 1 представлена модель изображения, схематично представленная в виде трех подобластей.


Рисунок 1. Модель изображения.

На основе предложенной текстурно-геометрической математической модели двумерных сигналов разработан метод синтеза неоднородного двумерного сигнала. Подход  заключается в разбиении изображения на кластеры, при этом в пределах каждого предполагается однородность модели. Для восстановления границ раздела текстур предлагается использовать сплайн-интерполяцию. После восстановления границ кластеров используется операция заполнения (аппликация) этих кластеров выборочными фрагментами СП.

2. МЕТОД ВОССТАНОВЛЕНИЯ ИЗОБРАЖЕНИЙ

Предлагаемый подход к реконструкции двумерных сигналов на основе текстурно-геометрической модели включает в себя четыре главных этапа:

  1. нахождение фрагментов границ, пересекающих область  (на примере рис. 2 кривые  и );
  2. определение соответствия между участками кривых;
  3. интерполяция кривых, описывающих границы объектов и текстурных участков;
  4. синтез текстурных областей в пределах восстановленных контуров.

Извлечение контуров объектов на изображении является нетривиальной задачей. В простейшем случае для этого может быть использован детектор Канни, который позволяет объединять в границы пиксели, для которых в направлении вектора градиента достигается локальный максимум. Недостатком такого подхода является некачественная сегментация текстур.

Для эффективной обработки предлагается использовать метод сегментации изображений на основе геометрической модели активного контура, который разработан Chan и Vese в [5]. Этот подход позволяет успешно сегментировать изображения различных типов, в том числе, которые трудно или невозможно сегментировать классической пороговой обработкой или методами, основанными на градиенте.

Модель Chan -Vese (CV) является альтернативным решением проблемы Mumford–Shah, которая решает задачу минимизации путем минимизации следующего функционала энергии:

где  и  являются положительными константами, как правило, фиксированные , c1 и c2 - средние значения интенсивности u0 внутри C и за ее пределами C, соответственно.

В сегментированном изображении (рис. 2а) анализируются  все участки контуров, которые находятся  в локальной области  (рис. 2б)  вокруг области . Следующим этапом алгоритма является анализ полученных границ  – количество участков границ, пересекающих область с искаженными пикселями R и их соотнесение к одной границе. Так, например, на рисунке 2б  – участки первой границы  – участки второй границы . Cопоставление участков границ осуществляется с помощью векторного представления локальных окрестностей [6]. Локальные поверхности могут быть представлены тензором, который позволяет учитывать ориентацию изменений яркости, а так же особенности изменения градиента.

Для каждой локальной окрестности , полученной в результате разделения области  границами  и  вычисляется тензор.

а) б)

Рисунок 2. Выделение и анализ границ.

Для каждой пары точек и касательных векторов на границе  определяется интерполирующая кривая Эрмита. Матричная запись параметрических уравнений, описывающих элементарную кубическую кривую Эрмита имеет вид:

где M – базисная матрица кубической кривой Эрмита, G – геометрическая матрица.

Далее для каждого полученного кластера используется операция заполнения (аппликация) выборочными фрагментами СП, синтезируемых на основе различных однородных моделей, при этом полученное изображение будет обладать существенно неоднородной структурой. Одним из простейших вариантов построения модели текстур является «трёхточечная» АР модель (модель Хабиби), которая является частным случаем 2‑мерной авторегрессионной модели кратности (1,1), причем значение параметра p задает коэффициент корреляции соседних элементов:

,

при этом первый элемент поля формируется как ; первый столбец  ; первая строка .

Решение системы уравнений Юла-Уокера позволяет найти коэффициенты p уравнения авторегрессии  по заданным или оцененным на основе эксперимента значениям коэффициентам корреляции [6].

Существенным недостатком предлагаемого подхода является нерекурентность предлагаемых процедур, и как следствие – высокие требования к вычислительным ресурсам ЭВМ.

Для увеличение быстродействия восстановление пикселей в каждой области возможно с помощью метода Телеа [7]. Использование данного подхода позволяет эффективно восстанавливать однородные области изображений с уменьшением вычислительных затрат. На рисунке 3 представлен фрагмент изображения, содержащий текущую восстанавливаемую точку p.


Рисунок 3. Восстановление методом Телеа.

Для восстановления значения пикселя p используется малая окрестность  в области доступных пикселей, значение, которого вычисляется с учетом значений пикселей из данной окрестности и градиента изображения с использованием выражения:

где  – каждый пиксель из области – весовая функция.

Вместо данного выражения для восстановления значений пикселей может использоваться любое другое на основе решения дифференциальных уравнений в частных производных, вычисленное в локальной области . Кроме того, возможно изменение весовой функции . Как правило, второй и третий критерий оказывают значительное влияние только при использовании достаточно большого размера области .

3. ОЦЕНКА ЭФФЕКТИВНОСТИ МЕТОДА ВОССТАНОВЛЕНИЯ ИЗОБРАЖЕНИЙ

Эффективность разработанного метода проверяется на тестовых изображениях с отсутствующими пикселями, которые находятся на границах объектов. На рисунке 4 представлены примеры восстановления изображений различными методами (а - исходное изображение, б - изображение с отсутствующими пикселей, в – изображение, восстановленное методом [1], г – изображение, восстановленное методом [7]; д – изображение, восстановленное методом [3]; е – изображение, восстановленное предложенным методом.

а) б) в)
г) д) е)

Рисунок 4. Примеры восстановления изображений.

Анализ результатов восстановления показывает, что предложенный метод, основанный на геометрической модели с контурным и текстурным анализом, позволяет эффективно реконструировать как текстурные, так и структурные участки изображений. Метод на основе вычисления частных производных приводит к размытию изображения, а метод на основе поиска похожих областей не корректно восстанавливает изогнутые границы.
Для численной оценки эффективности методов восстановления изображений вычисляется значение среднеквадратической ошибки

В таблице 1 представлены усредненные значения  для исследуемых методов. Разработанный метод пространственной реконструкции статических изображений на основе текстурно-геометрической модели изображений позволяет уменьшить погрешность реконструкции изображений в среднем на 90% в сравнении с известными методами.

Таблица 1. Значение среднеквадратической ошибки

Метод [1] Метод [7] Метод [3] Предложенный метод
0,1239 0,1232 0,1014 0,0654

4. ЗАКЛЮЧЕНИЕ

В статье представлен метод пространственной реконструкции статических изображений на основе текстурно-геометрической модели изображений, который заключается в реконструкции изображений с помощью восстановления контуров и синтеза текстуры путем моделирования авторегрессионной модели случайных полей. Продемонстрировано, что предлагаемый подход позволяет уменьшить ошибку восстановления при реконструкции структуры и текстуры изображений.

Список литературы

  1. Bertalmio M., Bertozzi A., Sapiro G. Navier-Stokes, fluid dynamics, and image and video inpainting/ Hawaii: Proc. IEEE Computer Vision and Pattern Recognition (CVPR). — 2001. – PP. 213–226.
  2. Kuo-Ming Hung, Ching-Tang Hsieh. A novel image inpainting technique based on bandelet  transform/ Computer Modeling and Simulation (ICCMS '10). Second International Conference on. — Vol. 2. —  2010. —  PP. 133 – 137.
  3. Criminisi A., Perez P., Toyama K. Region filling and object removal by exemplar-based image inpainting / IEEE Trans. Image Process. — 13(9). — 2004. —  PP. 28–34.
  4. Qiang Chen, Yingxiang Zhang, and Yuncai Liu. Image Inpainting with Improved Exemplar-Based Approach/ Multimedia Content Analysis and Mining, Lecture Notes in Computer Science. — Vol. 4577. — 2007. — PP. 242-251.
  5. Chan T.F., Vese L.A. Active contours without edges/ IEEE Transactions on Image Processing. —  Vol. 10(2) . —  2001. —  PP. 266‐277.
  6. Voronin V.V., Marchuk V.I., Petrosov S.P., Svirin I., Agaian S., Egiazarian K. Image restoration using 2D autoregressive texture model and structure curve construction/ Proc. SPIE  9497, Mobile Multimedia/Image Processing, Security, and Applications. — 949706. — 2015.
  7. Telea A. An image inpainting technique based on the fast marching method/ Journal of Graphics Tools. — Vol. 9 (1). — 2004.  — PP. 25-36.
  8. Исследование выполнено при финансовой поддержке РФФИ в рамках научного проекта №15-01-09092\15.

Рецензенты:

Безуглов Дмитрий Анатольевич, д.т.н., профессор, зав. кафедрой таможенных операций и  таможенного контроля Ростовского филиала государственного казенного образовательного  учреждения высшего образования «РОССИЙСКАЯ ТАМОЖЕННАЯ АКАДЕМИЯ», Ростов-на-Дону.

Марчук Владимир Иванович, д.т.н., профессор, заведующий кафедрой «Радиоэлектронные и электротехнические системы и комплексы» ИСОиП (филиал ДГТУ), Шахты.

 
ЗАО «Нордавинд» (© 2004-2018)
Контакты:
+7 (499) 130-98-92
info@nordavind.ru
Обратная связь
Единый прайс-лист систем безопасности
Я зарегистрирован на Портале Поставщиков