Equipo y tiempos de codificación

Tutoriales y temas relacionados con ripeos de copias de seguridad, problemas de soft o hard que pudiesen surgir y datos técnicos novedosos.
Responder
Avatar de Usuario
reid
 
Mensajes: 293
Registrado: 16 Oct 2012 16:27
Agradecido : 7 veces
Agradecimiento recibido: 663 veces

Re: Equipo y tiempos de codificación

Mensaje por reid » 08 Feb 2013 15:54

gilles escribió:Por lo de los núcleos, el uso depende del programa de ripeo, algunos no son capaces de utilizar los diferentes núcleos, otros usan todos, otros permiten elegir cuantos se van a utilizar.
¿Qué programas de ripeo permiten activar los núcleos? Yo sólo he utilizado VDubmod, Megui y Mediacoder para Xvid y los tiempos de codificación son bastante similares. No he visto que dieran ninguna posiblidad de activar núcleos.
¿Tienes experiencia en ripear Xvid?
¿Cómo canviaria tu estimación de tiempos de codificación en x264 con un crf entre18-19, preset slower-veryslow, tune grain, level 4.1?


Tronko: Si te compras un ordenador actual de dos núcleos, como el procesador será mucho más potente que el mio, y con una placa base actual también podrás tener más memoria, creo que podrás reducir considerablemente el tiempode codificación.
Sigo con la pájara.

gilles
 
Mensajes: 562
Registrado: 21 Ene 2013 11:15
Agradecido : 22 veces
Agradecimiento recibido: 240 veces

Re: Equipo y tiempos de codificación

Mensaje por gilles » 08 Feb 2013 17:43

1) Hable de mi configuración es decir con un OS GNU/Linux, (puede ser que los programas de windows no dejan configurar el multithreading):

Winff: permite activar multithreading y elegir cuantos thread utilizar
Avidemux: utiliza automáticamente el máximo de threads, pero se puede elegir menos en la configuración.
FFmpeg: permite elegir cuantos threads utilizar
DVD::Rip: El multithreading se activa manualmente

Kdenlive: cada filtro utiliza un solo thread

OpenShotVideo: no tiene optimización de multithreading

Kino, Cinerella, HandBrake: multithreading optimizado

2) No puedo decir que tengo experiencia en ripear, solo hago pruebas y voy eligiendo la que me gusta. Pero ahora utilizo solo el X264.

3) "x264 con un crf entre18-19, preset slower-veryslow, tune grain, level 4.1"
Como he dicho en el mensaje precedente, utilizo Avidemux para hacer los ripeos, es decir que no aparecen estos arreglos, por lo menos escritos así.
Este programa es libre y gratis y existe para windows. Si ud me da los parámetros deseados con este programa, puedo hacer pruebas con mi CPU, que sea con Xvid o con X264, asi podremos comparar varios CPU, utilizando los mismos arreglos (aunque depende también de la película).

Avidemux : http://avidemux.sourceforge.net/download.html

Avatar de Usuario
Tronko
 
Mensajes: 1554
Registrado: 16 Oct 2012 15:02
Ubicación: Rías Baixas
Agradecido : 599 veces
Agradecimiento recibido: 1344 veces

Re: Equipo y tiempos de codificación

Mensaje por Tronko » 08 Feb 2013 22:14

Veo que usas muchos programas, gilles, aunque no el VDubMod. Este programa está abandonado hace años, por lo que tal vez solo use un núcleo. En los manuales de codificar a XviD siempre suelen poner este programa; me da la sensación que los manuales se han quedado obsoletos y los ripeadores usen ahora otros programas, como el Avidemux que tú señalas.
reid escribió:Tronko: Si te compras un ordenador actual de dos núcleos, como el procesador será mucho más potente que el mio, y con una placa base actual también podrás tener más memoria, creo que podrás reducir considerablemente el tiempode codificación.
No sé si habrá mucho diferencia, porque va a ser la gama más baja (también la más reciente); la duda es si elegir un Intel Celeron G1610 (2,6 GHz) o un AMD A4-5300 (3,4 GHz) (me decanto más por el segundo, pero la segunda duda sería comprar éste o esperar a que salga la siguiente generación, que dicen puede ser para el mes que viene). En fin, ya veré.
He reducido el mundo a mi jardín y ahora veo la intensidad de todo lo que existe.

Avatar de Usuario
reid
 
Mensajes: 293
Registrado: 16 Oct 2012 16:27
Agradecido : 7 veces
Agradecimiento recibido: 663 veces

Re: Equipo y tiempos de codificación

Mensaje por reid » 09 Feb 2013 19:05

gilles escribió:3) "x264 con un crf entre18-19, preset slower-veryslow, tune grain, level 4.1"
Como he dicho en el mensaje precedente, utilizo Avidemux para hacer los ripeos, es decir que no aparecen estos arreglos, por lo menos escritos así.
He mirado en la wiki de avidemux y aquí te explica lo del crf (Single Pass - Constant Rate Factor) y el profile&level:

http://www.avidemux.org/admWiki/doku.ph ... rial:h.264

No hay presets (excepto los que ha creado Lordmulder (http://www.avidemux.org/smf/index.php/t ... 40hm9ud1o0), pero que no se corresponderían con la anterior linea de comandos, y parece que no existe la posibilidad de escoger entre tune film y tune grain.

De los programas que te cité que estaba usando, megui permite el uso de Threads (por defecto 1), el uso de 2 no mejora la compresion ni la calidad. Y parece que ni el tiempo de codificación si se usa el avisynth habitual:

If you aren't seeing 100% usage while encoding, remember the problem may lie with your input. Avisynth is single-threaded (usually), and so is often the bottleneck in multicore systems.
Sigo con la pájara.

gilles
 
Mensajes: 562
Registrado: 21 Ene 2013 11:15
Agradecido : 22 veces
Agradecimiento recibido: 240 veces

Re: Equipo y tiempos de codificación

Mensaje por gilles » 10 Feb 2013 15:59

Reid,

buscando como utilizar sus parámetros, llegue a la conclusión que eran un poco contradictorios, o por lo menos inadecuados :

Level 4.1
este level lee y permite un rip de alta resolución en pixel, es decir que no mejora directamente el rip, solo que permite hacer un rip con tamaños de imágenes hasta 2048X1024 con 30fps o 1280X720 con 68 fps.
En un DVD estándar (la mayoria), la resolución es generalmente de 1280X720 o 720X576 con 25 fps.
El codec X264 utiliza al máximo el Level del original, es decir 3.1 para un DVD estándar.
Así que me parece inútil especificar el level para un ripeo, excepto si queremos bajar la resolución (y la calidad), poniendo un level inferior al original.

Tune Grain
en los parámetros de Tune grain vemos « ipratio 1,1 y pbratio 1,1 » es decir que Tune Grain disminuye las imágenes I y P privilegiando las B.
Y esto es un poco contradictorio con el Preset Slower... además de « modificar » el original.

Preset Slower
este parámetro implica un « subme 9 », es decir que la estimación de complexidad del pixel se va hacer en las imagenes I, P y B, Siendo las I las mejores para esta estimación RD. Y estas Iframes serian limitadas por el « Tune Grain ».

Entonces, hizo unas pruebas en linea de comando con un original vob extraído tal cual de un DVD, este original pesa 33,7 Mo con dos pistas audio (AAC y DTS), duracion 52'' (1300 frames).
Imagen
Es un « extra » del DVD Amores perros, una entrevista al « chivo ».

Con sus parámetros :
Test 0 :
x264 --preset slower --tune grain --level 4.1 --crf 18
Tiempo 15'05'' ; tamaño : 50,8 Mo ; bitrate : 8048 kb/s

Vemos que es mas pesado que el original y con un bitrate superior lo que es contra-productivo.

Normalmente hacemos rip para bajar el tamaño de archivo, teniendo una fuente de calidad DVD. Entonces, tome esas decisiones como base de prueba :

1-obtener un archivo alrededor de tres veces inferior al original (seria mas o menos un rip de 1,5 Go para un DVD de 4,7 Go)

2-privilegiar la calidad sobre el tiempo de rip a condición que se nota visualmente en el rip obtenido
Para eso no cambie la resolución, el AR ni el frame rate del original y busque los parámetros X264 mas conocidos por influir sobre la calidad, tomando como base los presets de slow a very slow

Test 1 : Deje X264 elegir el bitrate lo que corresponde a un crf 23
x264 --me umh --subme 9 --merange 24 --ref 4 --b-adapt 2 --direct auto
Tiempo 4'48'' ; tamaño : 15,8 Mo ; bitrate : 2506 kb/s
Imagen

Test 2 : bitrate impuesto para llegar a un tamaño acceptable
x264 --me umh --subme 9 --merange 24 --ref 4 --b-adapt 2 --direct auto --bitrate 2000
Tiempo 4'42'' ; tamaño : 12,1 Mo ; bitrate : 2000 kb/s

Test 3 : bajando la codificacion aqui, sin nada, corresponde a merange 16
x264 --me umh --subme 9 --ref 4 --b-adapt 2 --direct auto --bitrate 2000
Tiempo 4'23'' ; tamaño : 12,1 Mo ; bitrate : 2000 kb/s

Test 4 : siguiendo aqui con subme 7 es decir RD on all frame
x264 --me umh --subme 7 --ref 4 --b-adapt 2 --direct auto --bitrate 2000
Tiempo 3'30'' ; tamaño : 12,1 Mo ; bitrate : 2000 kb/s
Imagen

Test 5 : siguiendo aqui con el metodo de estimacion hexagonal
x264 --me hex --subme 7 --ref 4 --b-adapt 2 --direct auto --bitrate 2000
Tiempo 2'47'' ; tamaño : 12,1 Mo ; bitrate : 2000 kb/s
Imagen

Test 6 : bajando el bitrate
x264 --me hex --subme 7 --ref 4 --b-adapt 2 --direct auto --bitrate 1800
Tiempo 2'45'' ; tamaño : 10,9 Mo ; bitrate : 1800 kb/s

Test 7 : bajando el bitrate
x264 --me hex --subme 7 --ref 4 --b-adapt 2 --direct auto --bitrate 1500
Tiempo 2'38'' ; tamaño : 9,0 Mo ; bitrate : 1500 kb/s

Test 8 : ref 3 ; b-adapt 1;direct spacial que son los parámetros por defecto (significa un algoritmo de codificación mas rápido pero quizás menos eficaz)
x264 --me hex --subme 7 --bitrate 1800
Tiempo 2'18'' ; tamaño : 11,2 Mo ; bitrate : 1800 kb/s
Imagen

Conclusión :
Sin perder de vista que hablo de un DVD estándar (seria diferente con un Bluray o un HD DVD), por una película de 90 min, paso de 26 horas de codificación a 4 horas mas o menos sin poder ver una diferencia realmente notable con el original.
Son solo ensayos para estimar la importancia de cada factor, esta claro que para un buen rip, es mas eficaz y seguro trabajar con dos pasadas.

En este archivo están todos los rips y el original para hacerse su propia opinión con sus propios ojos (no es que no fio en los mios, pero...):

eD2K link TestX264.zip [178.79 Mb] 

Por fin, para darse una idea de la capacidad del X264 a utilizar toda la potencia del CPU, he echo un test adjuntando este dato --threads 1 a la linea del test4 par limitar el uso del CPU a un solo core.
El tiempo de codificación pasa de 3'30'' con los dos core a 7'23" con un solo.
Parece importante verificar que su programa de ripeo es capaz de utilizar el multithreading....


Espero que os sirve para optimizar sus ripeos y el tiempo de codificación, avisos y experiencias bienvenidas.

Avatar de Usuario
reid
 
Mensajes: 293
Registrado: 16 Oct 2012 16:27
Agradecido : 7 veces
Agradecimiento recibido: 663 veces

Re: Equipo y tiempos de codificación

Mensaje por reid » 11 Feb 2013 18:00

Gracias por el esfuerzo y las pruebas que has hecho, supongo que con Avidemux.
En Megui ya hay unos presets establecidos de más lento a más rápido (de más calidad a menos) y para cada uno las variables ya estan establecidas. En teoria cuanto más rápido es un preset más baja la calidad, aunque entran otros factores que pueden hacer variar la teoria.
Lo interesante es que si se utilizan dos núcleos varía la velocidad de la conversión.
Sigo con la pájara.

gilles
 
Mensajes: 562
Registrado: 21 Ene 2013 11:15
Agradecido : 22 veces
Agradecimiento recibido: 240 veces

Re: Equipo y tiempos de codificación

Mensaje por gilles » 11 Feb 2013 19:52

Los ensayos son hechos en linea de comando, la linea esta escrita para cada ensayo, no se utilizo ningún programa, solo el codec X264 y supongo que se puede hacer tambien en windows.

El problema de los presets es que no se sabe lo que se utiliza y a veces es inútil.
Para darse una idea, aquí están los diferentes mandos de cada preset:
- ultrafast:
--no-8x8dct --aq-mode 0 --b-adapt 0
--bframes 0 --no-cabac --no-deblock
--no-mbtree --me dia --no-mixed-refs
--partitions none --rc-lookahead 0 --ref 1
--scenecut 0 --subme 0 --trellis 0
--no-weightb --weightp 0
- superfast:
--no-mbtree --me dia --no-mixed-refs
--partitions i8x8,i4x4 --rc-lookahead 0
--ref 1 --subme 1 --trellis 0 --weightp 1
- veryfast:
--no-mixed-refs --rc-lookahead 10
--ref 1 --subme 2 --trellis 0 --weightp 1
- faster:
--no-mixed-refs --rc-lookahead 20
--ref 2 --subme 4 --weightp 1
- fast:
--rc-lookahead 30 --ref 2 --subme 6
--weightp 1
- medium:
Default settings apply.
- slow:
--b-adapt 2 --direct auto --me umh
--rc-lookahead 50 --ref 5 --subme 8
- slower:
--b-adapt 2 --direct auto --me umh
--partitions all --rc-lookahead 60
--ref 8 --subme 9 --trellis 2
- veryslow:
--b-adapt 2 --bframes 8 --direct auto
--me umh --merange 24 --partitions all
--ref 16 --subme 10 --trellis 2
--rc-lookahead 60
- placebo:
--bframes 16 --b-adapt 2 --direct auto
--slow-firstpass --no-fast-pskip
--me tesa --merange 24 --partitions all
--rc-lookahead 60 --ref 16 --subme 11
--trellis 2

Para simplificar, placebo seria copia del original; veryslow para bluray y hddvd, slower dvd de accion; slow dvd con calidad, medium dvd estandar, y con mucha simplificación...

Viendo los mandos, se puede ver la diferencia con los ensayos que deje en el post precedente.

Cuando tengo tiempo, intento otros rip con un original con mucha action, para tener una base.

Responder

Volver a “Temas Técnicos”