Improving Transfer Learning for Movie Trailer Genre Classification using a Dual Image and Video Transformer

Artículo académico que estudia la transferencia de representaciones espaciales de ImageNet y espaciotemporales de Kinetics al problema de clasificación multietiqueta de géneros de tráilers de películas (MTGC, por sus siglas en inglés). En particular, presenta una evaluación exhaustiva de la transferibilidad de modelos ConvNet y Transformer preentrenados en ImageNet y Kinetics hacia Trailers12k, un nuevo conjunto de datos de tráilers de películas cuidadosamente curado, compuesto por 12,000 videos etiquetados con 10 géneros distintos y metadatos asociados. Para reducir la brecha en la estructura espaciotemporal entre ImageNet/Kinetics y Trailers12k, se propone la Arquitectura Dual de Transformadores de Imágenes y Videos (DIViTA).