Do Tokens Collapse in Transformers and Should They?

Conferencia en inglés, trnasmitida en Youtube, de Vardan Papyan sobre el fenómeno de "neural collapse" en transformadores. Analiza si los tokens colapsan capa por capa, propone una modificación tipo Laplacian head frente a la atención estándar y evalúa su efecto en geometría de embeddings, generalización, clasificación de imágenes, aprendizaje autosupervisado y modelos de lenguaje