En una reunión comercial donde participamos con personas de otra empresa, se agregaron tres notetaker apps (aplicaciones para tomar notas automáticamente basadas en AI) y acá quiero hacer la comparativa ya que me llegaron los tres resúmenes y notas de la misma reunión. Espero en este post compartir algunos criterios para evaluar estas tools y mi análisis en base a esta experiencia, que seguramente será válido por poco tiempo ya que estas plataformas están en constante evolución.
Las herramientas fueron estas:
- Fireflies fireflies.ai
- Bubbles notetaker usebubbles.com
- Read assistant read.ai
La prueba fue con 7 personas hablando en inglés durante una hora y media, donde dos éramos de Uruguay, uno de Estados Unidos, uno de Emiratos Árabes y dos de México y uno de Colombia.
Resumen por mail
Al terminar la reunión me llegaron tres mails, uno de cada herramienta, en algún caso el mail contenía un resumen y en otros solo llega el link al reporte y para ver el contenido es necesario entrar a su web, pero tiene sentido porque hay contenido dinámico, filtros y otras cosas de valor.
Transcript
Todas incluyen la grabación en video y el transcript de lo conversado, y a simple vista parecen estar bastante bien. Sin embargo, al revisar en detalle uno puede ver cosas que no están completamente correctas. Creo que la parte más importante de esto es que cuando uno quiera ver de dónde sale un action item, o de dónde sale cierta parte del resumen, se pueda ir a revisar el transcript. De ahí que es que veo muy importante cómo se engancha toda la información resumida con el transcript en sí.
Resumen y action items
Ahora, considerando el uso típico de este tipo de sistemas, uno no va a leer el transcript de una conversación completa, sino que revisaremos más que nada el resumen y los action items.
Las tres herramientas ofrecen resúmenes de un párrafo, y luego una sección donde dividen en “chapters” o “topics” y muestran el resumen en forma más estructurada, incluso en muchos casos con bullet points. Es curioso ver cómo en algunos casos una herramienta agrupó todo en un mismo “topic” y en otros las dividió en dos diferentes.
Los action items de Read Assistant y de Bubbles Notetaker fueron muy errados. En ambos casos mencionan cosas que se hablaron, pero que no implicaban ninguna acción. Por ejemplo, hablamos de la importancia de probar los flujos de datos, pero me terminó dando un action item de preparar los datos en el sistema legacy con las pruebas y escenarios. En el caso de Fireflies fue un poco más acertado (no perfecto tampoco), y algo interesante es que llegó a asignar tareas al “Abstracta team” cuando no había un responsable concreto, y otras tareas las dejó como “unassigned”.
Mi consejo acá es que revisen enseguida después de la reunión estos resúmenes y validen o tomen nota de las cosas que están mal, para que eso no quede ahí como un mal registro de lo que se habló y genere más problemas de comunicación de los que intenta resolver.
Métricas
No lo había considerado como de valor, pero es interesante que Fireflies hace un análisis de sentimientos, mostrando qué porcentaje de la reunión tuvo un tono positivo, negativo o neutral. Muestra por cada participante el porcentaje de tiempo que habló y las palabras por minuto.
En el caso de Read Assistant muestra tres métricas clave: Read Score, Engagement y Sentiment.
Filtros y etiquetas
Fireflies agrega filtros automáticos en base a lo conversado, como “questions”, “metrics”, “date and time”, “tasks”, “pricing” como para ir directo a esas secciones, se puede filtrar lo que dijo cada participante también. Otra cosa interesante es que agrega hashtags de los temas tratados, como “test strategy”, “user acceptance testing”, “real-time data flow”, “performance testing”.
Lo gracioso es que en la etiqueta “pricing” metió un comentario en el que arranqué diciendo “my two cents”, lo cual no tenía nada que ver con pricing sino que es una expresión coloquial.
Trabajo colaborativo
Creo que algo útil es que brinda funcionalidades de colaboración: se pueden dejar comentarios y etiquetar a otras personas para pedir clarificación por ejemplo, o para hacer follow up de un action item. En la mayoría de los casos estas pasan a ser features de las versiones pagas.
Idiomas
No lo probé pero me dijeron que Fireflies (que un amigo lo viene usando mucho en su startup) en una misma reunión hablando en español, inglés y portugués (de Brasil) lo resuelve de buena manera.
Lo que pasó en la reunión en la que me basé para hacer el análisis, es que antes que se sumara la única persona que no hablaba español, estuvimos intercambiando algunos comentarios a modo de ice breaker en español, y esos en los tres casos los dejó en inglés y con menos contenido. No me queda claro si es porque se dio cuenta que no era importante para la reunión o si es que no funciona tan bien en otros idiomas. Seguro es un aspecto a explorar en mayor profundidad.
Chatbot
Fireflies tiene un bot que uno le puede hacer preguntas. Se me ocurrió preguntarle en base a la meeting, qué sugerencias de mejora nos daría para tener mejores reuniones (es un tema que me cuelga como pueden ver acá). Al principio me dio recomendaciones generales pero le pedí que se base en lo que observa del transcript de la meeting y ahí sí me dio una respuesta mejor orientada: iniciar la reunión clarificando los roles de cada uno y la agenda de la reunión (cosa que no hicimos en esta reunión), mejorar el manejo del tiempo ya que algunos temas se extendieron mucho (es verdad, aunque lo ameritaba, pero su comentario es atinado), incentivar la participación de todos (es cierto que no todos participaron de igual forma, varios estaban solo por si habían dudas de su área), etc.
Cuidado
Esto es algo que aún no estamos acostumbrados y que es cada vez más común, con lo que tenemos que estar atentos a los nuevos riesgos. Así como cuando uno acepta que una conversación se grabe, estas herramientas graban toda la conversación sin pedir consentimiento explícito. Desde el momento que el bot se une a la conversación, ya está “tomando notas” y en varios casos guardando el video y audio de la conversación.
¿Por qué planteo que hay que tener cuidado? No debemos olvidarnos que si alguien se suma antes a una reunión, ya no estaremos en un entorno privado, por más que solo sean dos personas, esa parte de la conversación quedará registrada y todos los participantes tendrán acceso.
Conclusión
No hay una solución perfecta. Creo que las tres son fuertes pero aún cometen muchos errores. Están buenas estas herramientas porque dejan un registro en texto del material que en video sería imposible indexar, y eso facilita revisar algo que se habló y reducir malos entendidos. Por otro lado, si confiamos demasiado en los resúmenes hechos en baes a los transcripts creo que podemos caer en casos donde se produzcan mayores malentendidos.
En mi caso espero seguir usando estas herramientas, pero siempre teniendo estos aspectos presentes. Me gustó mucho más cómo Fireflies tiene distribuida la información en la pantalla, queda más fácil de entender para mi gusto. Además siento que resolvieron mejor el vínculo de las notas con el transcript.
Ahora, esto no es nada definitivo, hay más aplicaciones que hacen lo mismo y están en constante evolución, así que habrá que estar atento a cómo siguen mejorando y ganando el mercado cada una. Lo que espero es haber podido compartir algunas ideas y visiones sobre estos productos, mostrando el potencial pero también bajando las expectativas a un punto adecuado.
Seria increible que incluyeras a diio