Dumme, respaldado por YC, recauda $ 3.4 millones para su editor de video AI que convierte videos largos de YouTube en cortos

tonto, una startup que pone en práctica la IA en la edición de vídeo, ya está generando demanda antes de abrirse al público. La empresa respaldada por Y Combinator tiene cientos de creadores de videos que prueban su producto, que aprovecha la IA para crear videos cortos a partir del contenido de YouTube, y un lista de espera de más de 20.000 prelanzamientos, dice. Usando una combinación de modelos de IA patentados y existentes, la promesa de Dumme es que no solo puede ahorrar tiempo de edición, sino también, y aquí está su gran afirmación, hacer un mejor trabajo que la mano de obra. tareas. trabajo de edición de video, como acortar contenido largo para publicarlo en plataformas cortas como YouTube Shorts, TikTok o Instagram Reels.

Fundada en enero de 2022 y participante del programa Winter 2022 de la aceleradora de startups Y Combinator, cofundadora y CEO de Dumme Drai de Merwane dijo que originalmente se centró en la creación de un motor de búsqueda de vídeo. Pero hace unos seis meses, el equipo se dio cuenta de que un mejor producto podría ser reutilizar los mismos modelos de IA que estaban desarrollando para editar videoclips.

Junto a los co-fundadores Will Dahlström (POC) y Jordán Brannan (CTO), todos con experiencia en inteligencia artificial, Drai se dio cuenta de que Dumme podría haber aterrizado en el mercado de productos básicos equivocado después de que su aplicación se volviera viral, colapsando sus servidores.

«Realmente no esperábamos que obtuviera mucha tracción ni nada, así que simplemente pusimos algo allí», dice Drai. «Luego, lo que sucedió fue que de la noche a la mañana nos despertamos con servidores sobrecargados, como si nada funcionara. Así que escribimos todo y creamos una especie de lista de espera» «A la mañana siguiente probablemente nos despertamos con 5000 personas, lo cual fue interesante».

Más tarde, el equipo descubrió que un creador de TikTok publicó un video breve sobre el producto, lo que envió una avalancha de tráfico a su sitio.

«En realidad, nunca se calmó», señala Drai.

El producto, pronunciado «ficticio», atrajo a los creadores porque tenía como objetivo simplificar y acelerar el trabajo de edición de video.

Usar Dumme es tan fácil como sugiere su nombre. Para comenzar, el usuario pega el enlace de un video de YouTube, luego hace clic en «generar» y la IA producirá una serie de videos cortos que muestran los aspectos más destacados de ese contenido ingerido. La compañía dice que usa YouTube como fuente, en lugar de admitir secuencias de video sin procesar, para subcontratar la moderación del contenido, es decir, si está permitido en YouTube, está permitido en Dumme.

El tiempo de procesamiento y la cantidad de clips resultantes dependerán de la duración del video original.

Pero como ejemplo, un podcast de video de una hora de duración puede tardar unos 20 minutos en procesarse, y comenzarás a recibir clips después de unos cinco minutos, dice Drai. Una vez completados, los creadores pueden descargar los videos musicales, que tienen una duración predeterminada de menos de 60 segundos, y cargarlos en cualquier plataforma que admita contenido de formato corto, como YouTube Shorts, pero también en otras plataformas, como Reels o TikTok.

Cómo funciona todo esto en el backend es, por supuesto, mucho más complejo. La compañía dice que, inicialmente, Dumme aprenderá tanto como sea posible del video fuente a través de los metadatos. Luego transcribe el video y trata de entender la semántica de lo que se dice mientras mira las imágenes para tratar de decodificar las emociones de la persona que habla. Estos resultados se correlacionan y pasan a un modelo de lenguaje que trata de determinar qué partes del video vale la pena cortar. Esto luego se transfiere a otro modelo que rastrea a los oradores activos y maneja el recorte.

Dumme dice que funciona con modelos de IA existentes como GPT-4, una versión mejorada de Whisper y otros que ha creado internamente, como el modelo que rastrea a los oradores activos en un cuadro de video. Uno de sus modelos también está capacitado en un montón de cortos de YouTube para saber qué es un buen gancho de apertura para atraer a los espectadores. Y, aunque todavía no está disponible, el equipo también está experimentando con un modelo de código abierto, LaViLa de Facebook Research, para comprender mejor el contexto del video.

El trabajo de IA está en marcha en el proveedor de GPU en la nube CoreWeaveno AWS, porque es más asequible, nos dice la empresa.

Debido a que Dumme se basa en la IA que procesa las palabras habladas, la tecnología no es apropiada para cosas como videos largos de juegos u otros en los que las personas no hablan. Drai dice que la puesta en marcha se dirige inicialmente a los creadores, podcasters y agencias de YouTube; creen que esta última sería la mejor apuesta para monetizar el producto.

Las agencias de hoy, dice Drai, a menudo subcontratan este tipo de trabajo con resultados impredecibles.

“Solo pagan a contratistas en jurisdicciones baratas para editar su propio contenido. Y el problema es que, en realidad, sigue siendo bastante caro y lleva mucho tiempo, lleva semanas, no minutos”, dice.

Cuando se le preguntó qué pensaba sobre la creación de tecnología que dejaría a la gente sin trabajo, Drai no se preocupó.

«La forma en que lo pienso es que, en última instancia… creo que es como decirme que los profesores de matemáticas van a [be put] sin trabajo porque hay una cosa que se llama calculadora…”, explica. “La gente se adaptará. Y luego habrá alguien que te enseñe a usar la calculadora, ¿verdad? Así que creo que solo es cuestión de adaptarse a eso”, dice Drai.

Actualmente, el precio que se está considerando involucra niveles en los que una empresa pagaría $0.40 por minuto de video procesado, mientras que los creadores más pequeños pueden optar por una suscripción mensual con un límite de 10 horas de contenido por mes. (Estos números están sujetos a cambios). Durante la prueba, el producto era de uso gratuito.

Los primeros usuarios usaron Dumme para una variedad de ediciones, incluida la generación de clips de sus podcasts de video para publicar en Shorts, así como para recortar otros videos nuevos y reproducir sus catálogos anteriores.

El producto parece ser competitivo con otras tecnologías de IA en el mercado, incluida la de la empresa creadora Jellysmack, que ha sido beneficio IA para convertir videos más largos de YouTube en videos más cortos, cortándolos, redimensionándolos y optimizándolos para plataformas específicas: resultado de su Kamua 2021 adquisición. Otras herramientas que hacen un trabajo similar incluyen cosas como Extracto de la obra, Vidyo.ai, Minorista, TubeBuddy, Corte sabio, Y de otros. La medida en que Dumme tenga éxito o fracase será superar a sus competidores en términos de calidad del trabajo y costo, parámetros que aún no se han determinado.

Pero algunos inversores están apostando por Dumme. Antes del lanzamiento, la startup recaudó una ronda de financiación de 3,4 millones de dólares de Y Combinator, Caffeinated Capital, Max y Nellie Levchin (a través de SciFi VC), Suhail Doshi, Nico Chinot, Protocol Labs, Chris Puscasiu y otros ángeles.

Dado el interés y la gran lista de espera, Dumme dice que su objetivo es alojar a unas 500 personas cada semana. Los lectores de TechCrunch pueden saltear la línea usando el código de invitación TECNOLOGÍA hasta agotar los cupos.