Чт, 03 Дек 2020, 05:02:35

Приветствую Вас Гость

Главная | Регистрация | Вход | RSS
     Будь...

Главная » Статьи » Компьютер » Компьютер

DjVu

DjVu ("дежавю" от фр. déjà vu — «уже виденное») как графический формат хранения данных был разработан компанией AT&T в середине 90х.
Все права на использование были проданы Lizardtech.
Сейчас права на технологию DjVu у компании Caminova.

DjVu — технология сжатия изображений с потерями, разработанная специально для хранения сканированных документов — книг, журналов, рукописей и проч., где обилие формул, схем, рисунков и рукописных символов делает чрезвычайно трудоёмким их полноценное распознавание. Также является эффективным решением, если необходимо передать все нюансы оформления.

Формат оптимизирован для передачи по сети таким образом, что страницу можно просматривать ещё до завершения скачивания. DjVu-файл может содержать текстовый (OCR) слой (если при создании добавлен, но легко добавить и потом без перепаковки всех страниц), что позволяет осуществлять полнотекстовый поиск по файлу. Обладает почти уникальной для Интернет-графики особенностью - способностью к масштабированию. Кроме того, DjVu-файл может содержать встроенное интерактивное оглавление и активные области — ссылки, что позволяет реализовывать удобную навигацию в DjVu-книгах. Отличается малым размером результирующего файла в сравнении со всеми остальными графическими форматами.

Чем просматривать DjVu файлы?
WinDjView (воспроизводит всё что дополнительно "сделано" в файле),
MacDjView,
X Djvu (iPhone/iPod Touch)
IrfanView с DjVu плагином,
STDU Viewer,
DjVu Browser Plug-in,
DjVu Shell Extension Pack (DjVu-плагин для проводника Windows),
djvureader (если не пошёл, то от имени админа..., инфа),
djvubookmark (+художественно перелистывает),...

Для сжатия цветных изображений в DjVu применяется специальная технология, разделяющая исходное изображение на три слоя (в общем случае): передний план (foreground), задний план (backgroung) и чёрно-белую (однобитовую) маску (mask). Маска сохраняется с разрешением исходного файла; именно она содержит изображение текста и прочие чёткие детали. Разрешение заднего плана, в котором остаются иллюстрации и текстура страницы, понижается для экономии места. Передний план содержит цветовую информацию о деталях, не попавших в задний план; его разрешение понижается ещё сильнее. Затем задний и передний планы сжимаются с помощью вейвлет-преобразования, а маска — алгоритмом JB2.
Особенностью алгоритма JB2 является то, что он ищет на странице повторяющиеся символы и сохраняет их изображение только один раз. В многостраничных документах каждые несколько подряд идущих страниц пользуются общим «словарём» изображений. При просмотре слои последовательно рендерятся и объединяются в конечной картинке.

Для сжатия большинства книг можно обойтись только двумя цветами. В этом случае используется всего один слой, что позволяет достичь рекордной степени сжатия. В типичной книге с чёрно-белыми иллюстрациями, отсканированной с разрешением 600 dpi, средний размер страницы составляет около 15 Кб, то есть приблизительно в 100 раз меньше, чем исходный файл. Однако, при этом не стоит забывать, что в DjVu используется сжатие данных с потерями. Для особо важных документов, возможно, будет разумнее использовать более «надёжные» форматы: PNG, JPEG 2000, TIFF и т. п. В общей сложности выигрыш объёма в этом случае составляет 4—10 раз.

В основе формата DjVu лежат несколько технологий, разработанных в AT&T Labs.
Это:
алгоритм отделения текста от фона на отсканированном изображении;
вейвлетный алгоритм сжатия фона IW44;
алгоритм сжатия чёрно-белых изображений JB2;
универсальный алгоритм сжатия ZP;
алгоритм распаковки «по запросу»;
алгоритм «маскировки» изображений

Кодировка в DjVu
DjVu Small (OC Windows) - удобна, малый размер, консольные утилиты от LizardTech,
Document Express Editor (5 или 6),
LizardTech Document Express Enterprise with DjVu,
Jpg2DjVu - пакетное кодирование JPG-файлов,..

Декодировать DjVu-файлы
DjVu OCR 2 (не даёт сбой при декодировании, если в многостраничном DjVu-файле некоторые "страницы" повреждены),
DjVu Small - использование read,
IrfanView,..
::: если одна программа декодирует файл .djvu в некоторые итоговые, например, .tiff с ошибкой, то ошибочные переполучаем с помощью другой программы. - Контроль имени итогового изображения :::разные способы автоформирования имени файлов у разных программ.

Работа с DjVu-файлами
Собрать, добавить-убрать, навигация:
Document Express Editor (5 или 6),
Document Express Enterprise with DjVu;
DjVu Imager - вставка иллюстраций в DjVu-книгу,
DjvuOCR 2 - внедрение OCR-информации из frf-файлов FineReader'а vv.8,9 в текстовый слой DjVu-файла,
DjVu Bookmark Tool - встраивание содержания,
DjVu Hyperlinks Editor - readme,
DjVuToy - китайская DjVu-программа с англ. интерфейсом

P.S. О редактировании содержимого :::
Файл .djvu своего рода контейнер для отдельных картинок (и/или слоев).
Поэтому, всё сводится к декодированию файла (*.djvu) ::: пакетно (всех сразу) или несколько (нужных) страниц в форматы графических изображений (tiff, bmp) соответствующими программами
→ изменению ::: в графическом редакторе, например, удобный в ScanKromsator(SK):
открыть tiff в SK, перейти в меню Result - Show source files и редактировать-чистить, включив Autosave mode, удобными способами
→ возвращению всего на место и/или кодированию-собиранию заново соответствующими программами.

Pdf -> DjVu
Для прямой конвертации - пакет Pdftodjvu LE (составлен на базе DEE v5.1, ~6Mb), если нет ограничений Интернета, то LizardTech Document Express Enterprise (DEE, ~170Mb). Преимущество такой конвертации в том, что при этом из Pdf-файла в DjVu-файл переносится OCR-слой и гиперссылки (иногда проблемы с русскими кодировками).
Однако, далеко не всегда имеет смысл делать именно прямую конвертацию Pdf -> DjVu. В отличие от формата DjVu, формат Pdf не является графическим. Формат Pdf - это формат-контейнер, который может содержать любой тип данных - текст, картинки, таблицы, даже аудио- и видеоинформацию. Формат Pdf обычно делится на такие виды:
- Векторный: в таком Pdf-файле содержится только символьная информация - текст, таблицы, графики, формулы, чертежи. Такие Pdf-файлы (внешне они выглядят как текст, набранный типографским шрифтом ::: распознанные из отсканированных книжные страницы, сохранённые в Pdf-файл в виде текста, а не картинки. Такой текст можно выделять, копировать, изменять прямо в Pdf-файле) лучше всего конвертировать в формат DjVu напрямую - получите отличное качество и наименьший размер DjVu-файла.
- Растровый: в таком Pdf-файле содержится только неформализованная информация - растровые картинки. Такие Pdf-файлы (внешне они выглядят как сканированное изображение текста ::: картинки отсканированных книжных страниц, сохранённые в Pdf-файл) лучше всего конвертировать в формат DjVu НЕ напрямую - а по схеме "Pdf -> Tif -> DjVu" (просто: IrfanView с IrFanView Plugins и для Pdf -> Tif, Bmp, Jpg... к ней Ghostscript). Всё дело в том, что прямой конвертер Pdftodjvu LE "заточен" именно на векторные Pdf-файлы, а растровые он плохо кодирует - получаются большие DjVu-файлы.
- Растрово-векторный: Такие Pdf-файлы, как правило, лучше конвертировать в формат DjVu НЕ напрямую - по схеме "Pdf -> Tif -> DjVu". И только в отдельных редких случаях можно применить прямое конвертирование "Pdf -> DjVu". Всё это зависит от конкретного Pdf-файла, от вида и соотношения растрового и векторного содержимого. Попробуйте оба варианта конвертирования и выберите наилучший.

Технические аспекты
Вся информация внутри DjVu представлена в виде чанков (chunks). Сам файл является большим чанком, внутри которого находятся чанки меньшего размера. Файл может быть одно- и многостраничным, в случае многостраничного файла в начало добавляется каталог страниц. Нужно отметить, что количество чанков внутри файла никак не соразмерно с количеством страниц, потому что для рендеринга страницы может использоваться несколько чанков.
Z-coder.
Арифметический кодер/декодер который является основой всех преобразований в DjVu. Принцип действия похож на тот, что применяется в алгоритме BZIP2. Этот кодек применяется как фильтр - выходной при создании чанков и входной перед рендерингом слоёв.
JB2 encoder.
Применяется для упаковки bitonal данных, таких как текст, чёрно-белые рисунки и пр. Может хранить маску, т.е. информацию о том, что попадает в background, а что в foreground. Вся информация хранится в виде библиотеки (dictionary) форм (shape) плюс положение каждого объекта на плоскости страницы. Сами библиотеки могут быть общими для нескольких страниц. Легче всего это представить таким образом. К примеру есть отсканированный текст, кодировщик определяет похожие буковки, скажем все 'а', 'б' etc и создаёт библиотеку, в которой находится информация о каждой букве (форме), а потом просто информация, что 'a' находится в таком-то и таком-то месте, 'б' в таком-то и так далее. В дополнение к всему этому, может быть сохранена информация о цвете форм, т.е. если есть, скажем, красная 'а' и синяя 'a' в скане, то в библиотеку попадёт только одна 'а', будет записана информация о местоположении двух форм 'а' и о их цвете. Цвет хранится в индексированном виде, точно так же, как и в GIF файлах.
Сигнатура чанка для JB2 слоя - 'Sjbz', может ссылаться на внешнюю библиотеку форм - 'Djbz' чанк. Информация о цветах форм находится в чанках 'FGbz'.
Все такие чанки пожаты Z-coder'ом.
IW44 encoder.
Wavelet кодер. Применяется для упаковки фотографий, backgroung. Foreground цвета тоже могут быть упакованы таким же образом. Принцип упаковки такой же как, в формате JPEG 2000. Может быть упакована как цветная, так и b/w информация. Информация о background обычно сохраняется с меньшим (как правило в 3 раза) разрешении, чем JB2. Если foreground упакован таким способом, то 'Sjbz' маска определяет, что попадает в foreground, а что нет. Информация о цвете кодируется не в RGB, а YCbCr (яркость плюс разностные каналы, как в телевидении).
Сигнатура чанка для background слоя - 'BG44', foreground - 'FG44'.
Прочая информация.
Текстовый слой - 'TXTz'. Распознанный текст совместно с его расположением на странице. Информация о расположении может быть детализована до слов или до строчек. Этот слой позволяет использовать поиск с подсветкой найденного на странице и индексировать DjVu документы.
Аннотации - 'ANTz'. Ссылки и информация о том, какие слои выводить по умолчанию при открытии файла.
'TXTz' и 'ANTz' пропущены через Z-coder.
Кроме того может быть закодирована информация о кодере (чанк 'CIDa') и прочее. Чёткого стандарта нет.

Параметры компонентов изображения в формате DjVu.
Имя слояПояснениеРазрешение, dpiГлубина цвета, bits/pix
Maskмонохромная маска-трафарет3001
Backgroundцветной фон10024
Foregroundцвета маски2524

Основная проблема - отделить текст от фона, особенно если это цветной текст, и более того, разноцветный. К счастью, цвет текста в большинстве документов практически одинаков в рамках одного знака. Это позволяет сохранять цветовую информацию о тексте с разрешением всего 25 dpi (слой "foreground") (см. табл.).
Разделение изображения на текст и фон (формирование слоя-маски) основано на так называемой мультимасштабной кластеризации. Изображение разбивается на разноразмерные вложенные сетки, в каждой ячейке которых происходит распознавание текстовых и фоновых цветов по максимальным пикам на гистограмме. Отделив текст от фона в самой крупной сетке, алгоритм переходит к уточнению на основе данных из сеток меньшего размера. Разработчиками найдено эмпирическое соотношение: цвет, определенный как "текстовый" в наибольшей ячейке, смешивается с "текстовым" цветом в меньшей, вложенной ячейке в пропорции 20% к 80% . Результат смешения принимается за цвет текста для расчетов в еще более мелкой сетке по тому же принципу 20/80.
Очевидно, смешение одинаковых цветов даст тот же самый цвет. В этом случае вложенные ячейки игнорируются, и общий объем информации о слое-маске уменьшается на 10...30% по сравнению с разбиением одноразмерной сеткой наименьшего шага.

Ограничения формата.
Максимальный размер страницы 65535x65535px
Отсутствие контрольных сумм внутри формата и чанков (битый файл распакуется, но в непотребную кашу). Гарантия целостности DjVu файла - архивация.
Отсутствие криптования и ограничений на использование информации. (Скорее плюс)

Дополнительно:
ScanKromsator : основная программа для обработки "сырых" сканов - поворот, нарезка, обрезка полей, удаление мусора и т.п. (шикарная прога) Может понадобиться CRDE2001.dll
Scan and Share v1.07: мини-инструкция в картинках, описывающая полный цикл создания электронной версии книги в формате DjVu. Автор: VadimirTT (Ещё не разбираясь в тонкостях, уже сможете получить хороший результат...)
Взять FRPro 9 хорошо вылеченный.
Scan Tailor : интерактивный инструмент для пост-обработки сканированных страниц.
В стадии разработки, но использовать можно ::: для хороших сканов; поднятия dpi,.. для простых смертных... (Руководство пользователя).
Базовый набор софта для DjVu-книгосканирования

P.S. Список DjVu-программы На сайте можно углубиться в тему "DjVu"

Категория: Компьютер | Добавил: zachom (29 Сен 2009)
Просмотров: 6405 | Комментарии: 1 | Теги: форматы, DjVu, Памятка
Всего комментариев: 1
avatar
0
1 zachom • 07:06:49, 09 Окт 2009
Объём информации, которого хватило для того, чтобы понять в чём суть дела и сделать DjVu-книги хорошего качества. (Без излишеств) :::То, чем пользовалась.
Вопросы навигации: была бы нормального качества книга... А OCR, оглавления, закладки..., если жизненно важно - вперёд...
avatar
Меню сайта
Категории раздела
Компьютер [8]
И для блондинок...
IM [1]
Вход на сайт

Поиск
Tags
живность Собака мульт компьютер жизнь осознание документалистика web вода развитие Здоровье обои литература цветы дети Монтессори рабочий стол walls чёрный черный Кошка природа пекинес ИНБИ ЧОМ пищеблок рукоделия фильм животные вера Wallpaper wallpapers география города арабы Йемен лес Кострома Нея Крым Орджо спицы небо эфир звук Горы кола Заполярье растительность юмор Ретро время JP Москва идея
P.S.
SaveFrom.net
Run myPhoneDesktop
Web Client:
Статистика


Copyright MyNoMy © 2020
Используются технологии uCoz
Наш опрос
Оцените сайт:
 
Всего ответов: 164
Друзья сайта
На главную