Anatomía de un experimento: poniendo el “súper” en Súper Gracias
06 Oct, 2022 – mins de lectura
Nota del editor por Neal Mohan, director de Producto: Se piensa mucho en todos los productos, herramientas y funciones que brindamos a los creadores y espectadores en Youtube. Recopilamos comentarios, diferentes opiniones y pensamos en cómo ejecutar a escala. Fundamentalmente, antes de llegar al lanzamiento del producto final, adoptamos un enfoque especial para los experimentos que hacen posible todos y cada uno de estos avances. En esta entrega de nuestra serie de innovación, damos una mirada detrás de escenas al papel que jugaron los experimentos para traer Súper Gracias a la plataforma.
¿Alguien recuerda cuando lanzamos por primera vez “Viewer applause” en 2019? Viewer applause, ahora renombrado Súper Gracias, es nuestro cuarto bien digital pagado y ha brindado a los fans una forma temprana de mostrar financieramente su apoyo a sus creadores favoritos directamente desde una página de visualización. Fue un momento emocionante para todos los que nos habíamos enfocado en profundizar la relación entre creadores y sus audiencias y brindarles a los creadores otra vía para diversificar la forma en que ganan dinero en YouTube. Pero ¿cómo pasamos de esa primera iteración básica de los Viewer applause a la versión mejorada de Súper Gracias que finalmente lanzamos a todos los creadores en abril de este año? Para eso, no busque más allá de los experimentos que realizamos para llegar allí.
¿Por qué hacemos experimentos?
Primero, es útil entender la forma en que pensamos acerca de los experimentos. El corazón de nuestro enfoque es aprender algo nuevo o descubrir cómo mejorar una experiencia existente. Probamos todo tipo de mejoras, desde pequeños ajustes que toman relativamente poco tiempo hasta mejoras más grandes que requieren una ventana mucho más grande para ejecutarse. Y lanzamos experimentos durante todo el año en todos nuestros productos y funciones en desarrollo, duran todo el tiempo que sea necesario para obtener datos estadísticamente significativos que informen significativamente nuestras decisiones sobre productos.
Para muchas de nuestras funciones, nunca dejamos de realizar experimentos, ya que continuamente buscamos realizar mejoras que brinden una mejor experiencia a toda la comunidad de YouTube. No se trata solo de espectadores y creadores, sino también de anunciantes, socios de medios, desarrolladores externos y la industria de la música.
¿Cómo hacemos experimentos?
La forma en que abordamos los experimentos refleja el método científico en algunas formas clave. Comenzamos con un conjunto de hipótesis claras que queremos probar. Luego, todos los equipos que trabajan juntos para lanzar nuevas funciones — producto, experiencia del usuario, investigación e ingeniería — colaboran en el diseño de experimentos o estudios de investigación que pueden dar una idea de estas hipótesis. Nuestro objetivo final: medir el impacto de un cambio propuesto y obtener una mejor comprensión del usuario para que podamos mejorar un producto.
Detrás de todo esto hay un enfoque en los datos cualitativos y cuantitativos. Algunas mejoras de funciones se evalúan mejor a través de evaluaciones cualitativas, como sesiones de investigación de la experiencia del usuario. Pero otras características se miden mejor a través de enfoques cuantitativos, como experimentos de tráfico en vivo.
Para Súper Gracias, realizamos una variedad de pruebas con diferencias en longitud, metodología y tipos de datos. En particular, los experimentos ayudaron a desarrollar el diseño del ícono de Súper Gracias y agregaron más opciones de puntos de precio para los espectadores. Así es como.
Originalmente, el ícono principal para los Viewer applause en una página de reproducción era de dos manos aplaudiendo. La idea era simple. En la vida real, si disfrutas o aprecias una pieza de entretenimiento, aplaudes. En YouTube ¿si te gusta un video? Haz click en el botón ME GUSTA. ¿Realmente te gustó? Haz click en APLAUDIR.
Hubo solo un problema. Para los espectadores, el ícono no transmitía que tocar el botón de Viewer applause les permitiría dar propinas a sus creadores favoritos. Necesitábamos crear una imagen que expresara mejor la propuesta de valor de Súper Gracias a los espectadores. Así que diseñamos un nuevo ícono con un signo de dólar y un corazón.
En una sesión de investigación cualitativa que YouTube realizó entre el 18 y el 20 de junio de 2020, la mayoría de los participantes entendieron rápidamente el significado del nuevo diseño. Los espectadores esperaban más de la función de características, es decir, que los fanáticos pudieran agradecer a sus creadores favoritos a través de una propina monetaria. Como explicó uno de nuestros evaluadores en el experimento, “Debido a que tiene un corazón y un signo de dólar, parece una de esas cosas en las que puedes enviar pequeñas cantidades de dinero para decir ''me gusta este video”.
Para obtener más información cuantitativa, en julio de 2020, lanzamos un experimento A/B para el ícono del signo de corazón y dólar para Super Thanks. Los resultados mostraron un 20% menos de clicks que el ícono de aplausos y las conversiones de compra (es decir, ventas completadas) aumentaron más del 50%. Estos datos esencialmente sirvieron como un puente para comprender a los usuarios: si más espectadores realmente compraron un Super Thanks a través del ícono del signo del corazón y el dólar, entonces lo entendieron mejor.
También nos preguntamos si dar a los espectadores más opciones generaría mayores ingresos. Inicialmente, solo teníamos un punto de precio de $2, y escuchamos de muchos espectadores que querían personalizar las cantidades y dar más. A medida que agregamos algunas opciones más, queríamos desarrollar una estrategia de precios para Súper Gracias que funcionara bien para nuestra audiencia.
En un experimento que llevamos a cabo en agosto y septiembre de este año, ofrecimos nueve puntos de precio adicionales – que van desde $1 a $500– a los puntos de precio existentes de $2, $5, $10 y $50 USD y vimos un aumento de más del 10% en ingresos de Súper Gracias. En lugar de abrumarse con más opciones, los fanáticos apreciaron una mayor flexibilidad de precios — y llevó a que Super Thanks generará más dinero para los creadores.
Experimentos: el camino al éxito
Los comentarios de los experimentos han sido — y continúan siendo — un impulsor clave en las mejoras de Súper Gracias tanto para los espectadores como para los creadores. Hasta julio de 2022, más de 500,000 canales han habilitado Súper Gracias. Y la función de financiación de fans continúa generando impulso y ayuda a los creadores y artistas a ganar más y diversificar sus fuentes de ingresos.
Habrá más experimentos por venir. Otra solicitud frecuente de los compradores es que los comentarios de Súper Gracias se destaquen aún más y obtengan más reconocimiento — algo que esperamos probar el próximo año. Los creadores también quieren saber cuándo han recibido un Súper Gracias, por lo que nuestro objetivo es enviar notificaciones automáticas en los próximos meses. Y la expansión de Super Thanks a más países llegará pronto— ¡algo que los creadores y fans de todo el mundo han pedido desde que lo lanzamos por primera vez!
Los experimentos para Súper Gracias han demostrado por qué continuaremos haciendo de las pruebas el centro del desarrollo de productos: son indispensables para elevar el nivel de excelencia técnica y también una ventana crucial a los corazones y las mentes de nuestros creadores y espectadores. Continuaremos estando súper agradecidos por esto a medida que continuamos brindándote la mejor plataforma de video en los próximos años.