Videorip.info

Учимся кодировать видео и делимся опытом

Добро пожаловать, Гость
Логин: Пароль: Запомнить меня
Bookmark and Share
Чем больше информации Вы предоставите — тем быстрее мы сможем вам помочь!
Вставляйте (под спойлер) Mediainfo источника, Полный ЛОГ кодирования, другие настройки кодирования и т.д.

ТЕМА: Сокращение времени кодирования при фильтре DVD RemoveDirt Dither

Сокращение времени кодирования при фильтре DVD RemoveDirt Dither 2 года 11 мес. назад #4390

  • Bokken
  • Bokken аватар
  • Не в сети
  • Новичок
  • Сообщений: 13
  • Спасибо получено: 1
Доброго всем времени суток!
Решил я сделать качественное видео из DVD. В том числе сделать формат 1024 на 576. И неожиданно столкнулся с проблемой - при явной недогрузке процессора (не более 60 процентов) и большом резерве памяти (свободно почти 6 ГБ) время обработки увеличилось более, чем на порядок. Если обычными фильтрами типа MCDS или MCD2 работа не превышала 7-8 часов, то при использовании фильтра DVD RemoveDirt Dither времени требовалось почти 9 суток. Можно ли это дело как-то поправить? Замечу, что ранее этого не наблюдалось и аналогичные файлы прогонялись в пределах 10-12 часов.
Отчет на обработку фрагмента размером 400 фреймов:
ВНИМАНИЕ: Спойлер! [ Нажмите, чтобы развернуть ]
Гостям запрещено создавать сообщения!
Спасибо сказали: videoDVDkhv

Сокращение времени кодирования при фильтре DVD RemoveDirt Dither 2 года 11 мес. назад #4391

  • admin
  • admin аватар
  • Не в сети
  • Администратор
  • Всю жизнь учусь...
  • Сообщений: 938
  • Спасибо получено: 488
Tempter57 пишет:
Скачать: Архив plugins_filtering (06.06.17)

Прежде, чем приступать к работе с данным конвертором, вы должны изучить следующие материалы:
1. Основы использования утилиты AviSynth при обработке видео
2. Плагины для AviSynth от Fizick, при том описание плагина mvtools2.dll должны знать, как "Отче наш..."
3. Уметь работать с плагином masktools2.dll так и этак
4. Изучить основные дебандеры GradFun2DBmod, f3kdb, GradFun3 и описание всего пакета dither.html, который лежит в plugins\Docs
5. Описание плагинов и скриптов деинтерлейса TDeint, Yadif, QTGMC в plugins\Docs
6. Настоящие слёзы IVTC
7. Рекомендации по настройке параметров XviD и х264 лежат в архиве.

Настройка режима многопоточной обработки:
В верхней строке GUI основного окна конвертера найдите AviSynth. Нажмите на Многопоточность и перед вами откроется его окно. Руками теперь ничего прописывать в скрипт не надо. Достаточно в окне многопоточности задать параметры многопоточной обработки. Например, у вас 4 -ядра и вы обрабатываете SD разрешение скриптом с векторным анализом. Достаточно заполнить так:

При обработке HD прописать для setmemorymax значение 1024 или 1280 и, желательно, сократить количество потоков обработки до двух...трёх, если у вас 4-х ядерник, на 2-х ядернике количество потоков оставляем 2. Все эти настройки автоматически переносятся в скрипт. Режим начать с setmtmode(3) является более скоростным, чем setmtmode(5). При использовании внутренней обработки МТ: Distributor скорость тоже повысится, но на некоторых довольно тяжёлых скриптах может привести к краху. В таком случае пробуйте применить другие типы внутренней обработки МТ. На некоторых процессорах и системах установка: начать с setmtmode(3) может не подойти. В этом случае применяем: начать с setmtmode(5).
При использовании деинтерлейса QTGMC пропишите во внутренних параметрах EdiThreads=1, поскольку в режиме по умолчанию стоит EdiThreads=0, что задаёт количество потоков по числу виртуальных ядер. Это приводит к образованию в режиме многопоточной обработки дополнительных нитей (потоков) обработки и может привести к краху. Аналогично в параметрах fft3dfilter вписуйте ncpu=1, а в dfttest прописуйте threads=1.

При подключении фильтрации на 4-х ядерных СPU с НТ установите желательно не более 4-х потоков обработки и 6 потоков кодирования для х264 и 4 потока кодирования для XviD, задав threads=6 (threads=4) в настройках кодеков. Это позволит сократить количество крахов процесса обработки и кодирования. Помните, что в этом плане 8-ми ядерные процессоры AMD приравнены по настройкам многопоточности к 4-х ядерным CPU Intel c включенным HT.
На сложных скриптах обработки с векторным анализом, обработка и кодирование HD материала осуществляется в два этапа:
1. Подключается тяжёлый скрипт обработки и производится кодирование кодеком х264 в режиме loss-less. Требуется наличие свободного пространства на HDD около 150 ГБ.
2. Полученный файл после первого прохода перекодируется х264 уже с необходимыми параметрами настройки кодека.

ПРЕДУПРЕЖДЕНИЕ: ряд плагинов уже требует установку в систему Microsoft Visual C++ Redistributable for Visual Studio 2012 и Microsoft Visual C++2013

Старые папки plugins и filtering необходимо удалить вплоть даже из корзины, а потом заменить на те, что в архиве.
Всегда помните, что многопоточный AviSynth - это хак и, вы рискуете завершить процесс крахом.

Из за чего возникает ошибка нехватки памяти:
1. Вы не установили порог максимального потребления памяти или этот порог выбран не верно для данного скрипта.
2. Скрипт очень тяжёлый, имеет несколько векторных анализов да ещё в каждом несколько суперклипов необходимо поддерживать.
3. Вы используете HD разрешение. Чем выше разрешение, тем больше памяти потребляет AviSynth.
4. Возможно у вас глючит оперативная память или она плохо совместима с вашей материнской платой. Смотрите таблицы совместимости вашей МВ и оперативной памяти.
Общая рекомендация: снижайте количество потоков обработки. Никогда на фильтрах с векторным анализом не включайте количество потоков обработки выше количества физических ядер CPU, а на НD разрешениях ограничивайте свой аппетит 2-3 потоками на 4-х ядерниках.

Я по фильтрам не очень... Думаю что быстрее врятли получится...
Последнее редактирование: 2 года 11 мес. назад от admin.
Гостям запрещено создавать сообщения!
Спасибо сказали: Bokken

Сокращение времени кодирования при фильтре DVD RemoveDirt Dither 2 года 11 мес. назад #4392

  • Bokken
  • Bokken аватар
  • Не в сети
  • Новичок
  • Сообщений: 13
  • Спасибо получено: 1
Здравствуйте!
Рад опять Вас читать. В прошлый раз Ваши советы оказались очень полезны.
В программировании и AviSint я полный дилетант... :-( Несколько раз пытался овладеть, но не случилось. Хоть я и юный пенсионер, но способности к обучению резко снижены. Поэтому пользуюсь готовыми фильтрами путем тупого перебора и гляжу на конечную картинку.
Кстати, фильтры для VHS все очень многозадачные и мегамедленные, время доходит до 20 суток. Но там есть некоторые неприятности, которые обнаруживаются потом. Например, если в оригинале объект в движении несколько смазан, но все равны видны контуры в нескольких фазах такого движения, то фильтр VHS RemoveDirt превращает все эти фазы движения в одно полностью размытое облако. Хотя статику и качественный исходник обрабатывает просто изумительно - как-будто полная реставрация имени Крупного Плана. :-)

Как считаете, если сделать узко специализированный системный блок для подобных задач с хорошим многопоточным процессором - это решит проблему?

А то столько старых советских советских фильмов в отвратительном качестве... Тут взял "Юнону и Авось" первого исполнения, с Караченцовым, Шаниной и Абдуловым - хоть плачь. Дикое зерно, сбитая цветность и впечатление тряпичной копии VHS (как говорили в 90-х). И вряд ли кто-то займется реставрацией.

Еще раз благодарю за ответ!

Только что попробовал изменить настройки многопоточности, как на картинке. Время обработки вернулось к приемлемому показателю - 10 часов. Мои благодарности!
Последнее редактирование: 2 года 11 мес. назад от Bokken. Причина: применение совета
Гостям запрещено создавать сообщения!

Сокращение времени кодирования при фильтре DVD RemoveDirt Dither 2 года 11 мес. назад #4393

  • admin
  • admin аватар
  • Не в сети
  • Администратор
  • Всю жизнь учусь...
  • Сообщений: 938
  • Спасибо получено: 488
Скачать: Архив plugins_filtering (06.06.17)
Обновили?

Ну и процессор е8500 у меня был, в разгоне на 4.2 (честно), но это паравоз...
Сейчас есть и i7, и i5, это совсем другой полёт...

Зы. Вам количество потоков нужно ставить 2!
Последнее редактирование: 2 года 11 мес. назад от admin.
Гостям запрещено создавать сообщения!
Спасибо сказали: videoDVDkhv

Сокращение времени кодирования при фильтре DVD RemoveDirt Dither 2 года 11 мес. назад #4394

  • Bokken
  • Bokken аватар
  • Не в сети
  • Новичок
  • Сообщений: 13
  • Спасибо получено: 1
Опять здравствуйте!
Увы, сходу не прокатило. С потоками понятно, ставил 2. Второй и третий (сверху) показатели сделал сначала 3 и 2, потом 5 и 2. В обеих случаях процесс бодренько начинался, показывал время около 10 часов, но потом все замораживалось (скорость 0, время не определено, продвижения нет). Так что надо смотреть другие настройки, которые упомянуты Вашем сообщении.
Нет, фильтры пока не менял. Сейчас и займусь.

Поменял. Опять вижу, что "лучшее - враг хорошего". :-( Самые используемые фильтры перестали работать, а новые дают непонятные косяки, вроде лошадиного галопа изображения с внезапными скачками и остановками.
Пример отказа PoadPlugin: unable to load "C:\Program Files (x86)\XviD4PSP 5\dlls\AviSynth\plugins\RGTools.dll", Module not found. Install missing Library? (C:\Temp_convert\preview.avs, line 18)
Хотя указанный dll на месте и путь тот же самый.
Хорошо, что прежние варианты папок в заначке есть.
Последнее редактирование: 2 года 11 мес. назад от Bokken.
Гостям запрещено создавать сообщения!
Время создания страницы: 0.104 секунд