Para escalar la IA agente, Notion desmanteló su pila de tecnología y comenzó de nuevo
Muchas organizaciones pueden mostrarse reacias a revisar su conjunto de tecnologías y empezar desde cero. No una idea. Para la versión 3.0 de su software de productividad (lanzada en septiembre), la empresa no dudó en reconstruir desde cero; Se dieron cuenta de que, de hecho, era necesario respaldar la IA agente a escala empresarial. Mientras que los flujos de trabajo tradicionales impulsados por IA implican instrucciones claras paso a paso basadas en el aprendizaje con unas pocas tomas, los agentes de IA impulsados por modelos de razonamiento avanzados piensan detenidamente en la definición de una herramienta y pueden identificar y comprender las herramientas a su disposición y planificar los próximos pasos. «En lugar de intentar modernizar lo que estábamos construyendo, queríamos aprovechar las fortalezas de los modelos de inferencia», dijo a VentureBeat Sarah Sacks, jefa de modelado de IA en Notion. «Reconstruimos una nueva arquitectura porque el flujo de trabajo es diferente para los agentes».
Reorganización para que los modelos puedan funcionar de forma independiente
Notion es adoptado por el 94% de las 50 empresas en la lista de Forbes AI, tiene 100 millones de usuarios en total y sus clientes incluyen OpenAI, Cursor, Figma, Ramp y Vercel. En el panorama de la IA en rápida evolución, la empresa ha identificado la necesidad de ir más allá de flujos de trabajo más simples basados en tareas hacia sistemas de razonamiento orientados a objetivos que permitan a los agentes seleccionar, coordinar y ejecutar herramientas de forma autónoma en entornos conectados.
Muy rápidamente, señaló Sacks, los modelos de razonamiento se volvieron “mucho mejores” a la hora de aprender a utilizar herramientas y seguir instrucciones de la Cadena de Razonamiento (CoT). Esto les permite ser más “autónomos” y tomar múltiples decisiones dentro del flujo de trabajo de un solo agente. “Hemos reconstruido nuestro sistema de IA para que coincida con eso;" ella dijo. Desde una perspectiva de ingeniería, esto significa reemplazar los flujos estrictos basados en la velocidad con un modelo de coordinación unificado, explicó Sachs. Este modelo básico está respaldado por subagentes modulares que buscan en Notion y en la web, consultan y agregan bases de datos y editan contenido. Cada agente utiliza herramientas contextuales; Por ejemplo, pueden decidir si buscar en Notion o en otra plataforma como Slack. El formulario realizará búsquedas sucesivas hasta encontrar la información relevante. Luego puede, por ejemplo, convertir los comentarios en propuestas, crear mensajes de seguimiento, realizar un seguimiento de las tareas y monitorear y actualizar las bases de conocimiento. En Notion 2.0, el equipo se centró en hacer que la IA realizara tareas específicas, lo que les exigía «pensar de manera integral» sobre cómo motivar el modelo, señaló Sachs. Sin embargo, con la versión 3.0, los usuarios pueden asignar tareas a los agentes, y los agentes pueden realmente actuar y realizar múltiples tareas simultáneamente. «Lo reorganizamos para que fuera una selección subjetiva de herramientas, en lugar de unas pocas tomas, lo que claramente determina cómo se atraviesan todos estos diferentes escenarios», explicó Sachs. El objetivo es garantizar que todo interactúe con la IA y que “cualquier cosa que usted pueda hacer, su agente de Notion pueda hacerlo”.
Bifurcación para aislar alucinaciones.
La filosofía de Notion de «mejor, más rápido y más barato» impulsa un ciclo de iteración continuo que equilibra la latencia y la precisión al incluir vectores sintonizados y optimizar la búsqueda elástica. El equipo de Sachs utiliza un marco de evaluación riguroso que combina pruebas deterministas, optimización vernácula, datos anotados por humanos y LLM como juez, con puntuación basada en modelos para identificar inconsistencias e imprecisiones. «Al dividir la evaluación en dos partes, podemos identificar el origen de los problemas y esto nos ayuda a aislar alucinaciones innecesarias», explicó Sacks. Además, simplificar la arquitectura en sí significa que es más fácil realizar cambios a medida que evolucionan los modelos y las tecnologías. «Optimizamos el tiempo de respuesta y el pensamiento paralelo tanto como sea posible, lo que conduce a una precisión mucho mayor», señaló Sachs. Los modelos se basan en datos de la web y del espacio de trabajo conectado a Notion. En última instancia, Sachs informó que la inversión en la reconstrucción de su arquitectura ya ha proporcionado beneficios a Notion en términos de capacidad y una tasa de cambio más rápida. «Estamos absolutamente abiertos a reconstruirlo nuevamente cuando se produzca la próxima infracción, si es necesario», añadió.
Comprender la latencia contextual
Al construir y ajustar modelos, es importante comprender que el tiempo de respuesta es subjetivo: la IA debe proporcionar la información más relevante, no necesariamente la más relevante, a expensas de la velocidad. «Te sorprenderías de las diferentes formas en que los clientes quieren esperar las cosas y no esperarlas», dijo Sacks. Es un experimento interesante: ¿a qué velocidad puedes ir antes de que la gente abandone el modelo? Con la búsqueda puramente móvil, por ejemplo, es posible que los usuarios no sean tan pacientes; Quieren respuestas casi instantáneas. «Si preguntas: ‘¿Cuánto son dos más dos’, no querrás esperar a que tu agente busque en todas partes en Slack y JIRA», señaló Sacks. Pero cuanto más tiempo se le dedica, más completo se vuelve el agente de razonamiento. Por ejemplo, Notion puede realizar 20 minutos de trabajo independiente en cientos de sitios web, archivos y otros materiales. En estos casos, explicó Sachs, los usuarios están más dispuestos a esperar; Permiten que el modelo se ejecute en segundo plano mientras ellos se ocupan de otras tareas. «Es una cuestión de producto», dijo Sachs. «¿Cómo determinamos las expectativas del usuario a partir de la interfaz de usuario? ¿Cómo garantizamos las expectativas del usuario sobre el tiempo de respuesta?»
Notion es su mayor usuario
Notion comprende la importancia de utilizar su propio producto; de hecho, sus empleados se encuentran entre sus mayores usuarios. Los equipos tienen un entorno de prueba activo que genera datos de capacitación y evaluación, así como un circuito de retroalimentación de los usuarios «realmente activo», explicó Sacks. Los usuarios no tienen reparos en decir qué creen que debería mejorarse o qué características les gustaría ver. Sacks enfatizó que cuando un usuario rechaza una interacción, está dando explícitamente permiso a un comentarista humano para analizar esa interacción de una manera lo más anónima posible. «Utilizamos nuestra propia herramienta como empresa todo el día, todos los días, por lo que obtenemos ciclos de retroalimentación muy rápidos», dijo Sachs. «Realmente estamos creando nuestro propio producto». Sin embargo, Saks señaló que lo que están construyendo es su propio producto, por lo que se dan cuenta de que pueden tener problemas en cuanto a calidad y función. Para equilibrar esto, Notion confió "Muy experto en inteligencia artificial." Socios de diseño que reciben acceso temprano a nuevas capacidades y brindan comentarios importantes. Esto es tan importante como la creación de prototipos internos, destacó Sachs. «Nuestro objetivo es experimentar al aire libre y creo que se obtiene una retroalimentación más rica», dijo Sacks. «Porque al final del día, si solo nos fijamos en cómo Notion usa Notion, en realidad no estamos brindando la mejor experiencia a nuestros clientes». Igualmente importante es que las pruebas internas continuas permiten a los equipos evaluar el progreso y garantizar que los modelos no retrocedan (cuando la precisión y el rendimiento se deterioran con el tiempo). "Todo lo que haces es sincero," explicó Sachs. "Sabes que tu latencia está dentro de límites."
Muchas empresas cometen el error de centrarse demasiado en procesos de registro retrospectivos; Esto les dificulta entender cómo o dónde mejorar, señaló Sachs. Notion considera las reseñas como… "prueba de fuego" Desarrollo, progreso prospectivo, evaluaciones de observabilidad y resistencia a la regresión. «Creo que el gran error que cometen muchas empresas es confundir ambos», dijo Sachs. «Lo usamos para ambos propósitos y lo pensamos de manera muy diferente».
Conclusiones del viaje de Notion
Para las empresas, Notion puede servir como modelo sobre cómo operar la IA agente de manera responsable y dinámica en un espacio de trabajo empresarial conectado y autorizado. Conclusiones de Sach para otros líderes tecnológicos:
No tenga miedo de reconstruir cuando cambien las capacidades básicas; Notion ha rediseñado completamente su arquitectura para alinearse con modelos basados en lógica.
Trate el tiempo de respuesta como contextual: optimice para cada caso de uso, no globalmente.
Conecte todos los entregables con datos empresariales formateados y confiables para garantizar precisión y confianza. «Esté dispuesto a tomar decisiones difíciles. Esté dispuesto a sentarse en la cima de la frontera, por así decirlo, a medida que desarrolla el mejor producto que puede ofrecer a sus clientes», aconsejó.
