Ideas clave
Cuenta el éxito solo cuando los modelos cambian decisiones y generan valor medible.
Un modelo no es el resultado. El libro define un proyecto de analítica como exitoso solo cuando su modelo llega a producción, se usa para abordar un problema empresarial y genera valor medible. Un prototipo prometedor que nadie adopta puede ser un fracaso, aunque sus fundamentos matemáticos sean sólidos. Los autores citan estimaciones de fracaso cercanas al 80 %, pero las cifras varían, en parte porque los estudios definen el fracaso de distintas maneras.
El modelo de sepsis de Epic demuestra por qué. En un estudio independiente, no detectó el 67 % de los casos de sepsis y generó alertas para el 18 % de los pacientes. Otros hospitales comunicaron mejores resultados tras adaptar el modelo a sus contextos locales. La contradicción es instructiva: el rendimiento depende de las poblaciones de pacientes, los datos, las definiciones y los flujos de trabajo clínicos, no solo del diseño del modelo.
Lo sorprendente es cómo esta definición desplaza la atención de la precisión del modelo a todo el recorrido, desde la predicción hasta la acción. Es una distinción útil en cualquier sistema de alto riesgo: una alerta que llega demasiado tarde, abruma al personal o carece de un protocolo de respuesta puede ser técnicamente informativa y, en la práctica, inútil. Las cifras sobre tasas de fracaso deben tomarse como señales de advertencia, no como probabilidades universales. Un recuento que mezcla prototipos abandonados con sistemas implementados que rinden por debajo de lo esperado puede dramatizar el problema y, al mismo tiempo, ocultar qué intervención sería útil.
Exige que la IA supere la mejor alternativa, una vez contabilizados todos los costos.
Calcula el caso incremental. La pregunta pertinente no es si un sistema de IA podría generar ahorros, sino si esos beneficios adicionales superan sus costos adicionales en comparación con la mejor alternativa, que a menudo es el proceso actual. Incluye la puesta en marcha, la operación, el mantenimiento, las reparaciones y el valor de los recursos que podrían destinarse a otros usos. Los autores describen este análisis como una comparación entre el beneficio marginal y el costo marginal, usando la siguiente mejor opción como referencia.
La granja de Mike no superó esa prueba. Un sistema de agricultura de precisión con IA prometía ahorrar hasta un 80 % de los aproximadamente 100.000 dólares que se gastaban al año en productos químicos y agua. En el mejor de los casos, eso equivalía a unos 80.000 dólares, mientras que solo los costos continuos de datos también ascendían a 80.000 dólares anuales, sin contar los 500.000 dólares de instalación. Para una granja que obtenía unos 79.000 dólares de beneficios, la tecnología podía poner en peligro las finanzas de la familia en lugar de mejorarlas.
Es un antídoto práctico contra la tendencia a confundir la posibilidad técnica con el valor económico. El costo de oportunidad importa porque un proyecto compite con otros usos del mismo presupuesto, personal y atención. La misma lógica se aplica fuera del ámbito empresarial: una intervención costosa debe compararse con lo que sus recursos podrían conseguir en otros ámbitos. Aun así, no todos los beneficios encajan con facilidad en un flujo de caja. La seguridad, el aprendizaje o la resiliencia estratégica pueden ser importantes, pero deben mencionarse explícitamente, en vez de usarse como excepciones vagas al análisis económico.
Prioriza las soluciones que los clientes implementarán, no los prototipos que elogian.
Comprueba la disposición a adoptar la solución. WayBlazer creó herramientas de IA que usaban texto y voz para ayudar a los viajeros a planificar sus viajes. Grandes marcas de viajes, incluidas empresas hoteleras, aceptaron participar en proyectos de prueba de concepto. Sin embargo, convertir esos proyectos piloto en sistemas de producción de pago exigía ciclos de venta prolongados, trabajo de integración e inversión. La empresa emergente consiguió 8,7 millones de dólares, pero se quedó sin tiempo y dinero antes de obtener el compromiso de suficientes clientes.
Ordena los proyectos según su valor y viabilidad. Los autores recomiendan comparar el posible impacto empresarial de un proyecto con las posibilidades de llevarlo a la práctica. Una idea de gran valor con pocas probabilidades de implementarse puede ser una apuesta muy ambiciosa; un proyecto modesto y fácil de poner en marcha puede desarrollar capacidades. Su argumento no es que haya que evitar la ambición, sino que, antes de tomar los aplausos ante un prototipo como prueba de que existe un mercado, hay que tener en cuenta la adopción, la integración, los costos y los plazos.
La historia de WayBlazer pone de relieve una distinción habitual en el diseño de productos: los usuarios pueden admirar una demostración sin cambiar sus hábitos ni asignarle presupuesto. El entusiasmo inicial es un indicio débil de una demanda sostenida. Por eso, un proceso serio de priorización necesita pruebas de quienes controlan la implementación, no solo de quienes disfrutan del prototipo. Pero una puntuación de viabilidad también puede favorecer por defecto los proyectos graduales. Las organizaciones deberían reservar espacio para apuestas inciertas y, a la vez, fijar límites explícitos al costo y al tiempo que están dispuestas a arriesgar.
Asigna a los ejecutivos la responsabilidad por los resultados y protege la ejecución especializada.
RetailCo carecía de alineación. Un minorista planeaba un sistema de personalización para clientes con un sólido caso de negocio, pero los ejecutivos no estaban de acuerdo sobre el trabajo ni los recursos necesarios. El departamento de TI amplió el proyecto para incluir una plataforma de datos de clientes, mientras que los directivos sustituyeron a un equipo experimentado de seis personas por dos personas sin experiencia en IA. Los equipos de las tiendas, preocupados por los objetivos a corto plazo, volvieron a enviar correos electrónicos estándar cuando los primeros resultados fueron dispares. La iniciativa perdió tanto el control del alcance como las condiciones necesarias para aprender.
American Airlines muestra la alternativa. Su equipo de investigación de operaciones creó un sistema de gestión del rendimiento que, según se atribuye, generó 1.400 millones de dólares en ingresos adicionales en tres años. La dirección respaldó el objetivo estratégico y dio margen de acción a los especialistas. Los altos directivos deben definir el objetivo, financiar el trabajo y exigir responsabilidades a los equipos, en vez de microgestionar decisiones técnicas que no entienden.
El contraste no se reduce a un liderazgo fuerte frente a uno débil. Se trata de distinguir entre un liderazgo que establece un mandato estable y otro que sustituye la opinión por la pericia. Esto se parece a un problema de agencia: los ejecutivos deben asegurarse de que los especialistas trabajen en función de los objetivos de la organización, pero una intervención excesiva puede destruir las condiciones necesarias para un trabajo competente. Delegar sigue requiriendo puntos de control, métricas transparentes y responsabilidades claras. El equilibrio útil no consiste ni en confiar a ciegas ni en someterlo todo al control de un comité, sino en patrocinar el trabajo con conocimiento y asignar las decisiones a quienes están capacitados para tomarlas.
Busca más allá del conjunto de datos proporcionado cuando los datos no expliquen lo que ocurre en el negocio.
Los datos pueden ser incompletos en su contexto. Una empresa de logística creó una herramienta de optimización que los usuarios acabaron ignorando porque algunas condiciones importantes de las entregas no se conocían hasta el mismo día del servicio. Los datos de entrada cambiaban tan a menudo que las recomendaciones variaban de forma poco práctica, y algunos datos de inventario llegaban en momentos distintos. Los datos históricos habían hecho que el modelo pareciera viable, pero las operaciones en tiempo real revelaron aspectos que el conjunto de datos no había captado.
Una búsqueda más amplia resolvió otro misterio. Las encuestas de satisfacción y las evaluaciones de desempeño de una organización sanitaria no permitían explicar las repentinas renuncias de enfermeros y enfermeras. El equipo añadió datos económicos y de vivienda de acceso público y descubrió que las bajas se concentraban en torno a Riverside, Phoenix y Las Vegas, zonas duramente afectadas por las ejecuciones hipotecarias durante la crisis financiera. Las indagaciones posteriores revelaron que las dificultades económicas habían llevado a muchos empleados a marcharse de la zona. La explicación que faltaba estaba fuera de las fuentes de datos originales.
Estos casos muestran por qué el trabajo con datos se parece más a la investigación de campo que a limitarse a limpiar una tabla. Un conjunto de datos registra lo que una organización decidió observar o pudo observar; no incluye automáticamente las condiciones que produjeron el resultado. Quien investiga debe preguntarse qué falta, cómo se generaron las mediciones y si los datos disponibles reflejan el entorno real donde se toman las decisiones. Las búsquedas más amplias pueden revelar el contexto, pero también plantean cuestiones de privacidad, representatividad e interpretación causal. Más datos no significan automáticamente mejores pruebas.
Empieza en pequeño solo cuando los usuarios puedan aprender de una primera versión incompleta.
Un MVP no siempre es una opción segura. Un productor de acero probó una herramienta de optimización inicial diseñada para mejorar su red de producción. Los planificadores rechazaron la primera versión porque carecía de detalles que consideraban esenciales, mientras que los ejecutivos querían pruebas de su valor antes de financiar el sistema completo. El equipo había incorporado la mayoría de las restricciones del problema, pero no todas; los requisitos que faltaban dificultaban confiar en las recomendaciones. El proyecto quedó atascado entre un piloto incompleto y una inversión plena.
Elige la primera versión deliberadamente. Un modelo mínimo viable puede reducir el riesgo e invitar a la gente a aportar comentarios cuando los usuarios entienden lo que puede y no puede hacer. Pero, si un resultado incompleto socava la confianza o no permite demostrar un valor útil, un enfoque por etapas puede ser contraproducente. El equipo debe acordar de antemano qué demostrará el piloto, qué dejará fuera y cómo lo evaluarán los usuarios.
Este caso complica la idea popular de que todos los proyectos deberían empezar con el producto más pequeño posible. Iterar es valioso cuando cada versión genera aprendizajes que pueden interpretarse, pero un prototipo rudimentario puede dañar la confianza si los usuarios confunden sus limitaciones con las del método. Es un problema de diseño tanto como de modelado: la prueba debe ser lo bastante pequeña para poder controlarla y lo bastante realista para que importe. Los equipos deberían hacer visibles las carencias, definir criterios para los comentarios y evitar prometer que una herramienta en sus primeras etapas está lista para su uso operativo.
Integra a traductores de analítica y operadores allí donde se toman las decisiones.
Conecta el negocio con la analítica. Un traductor de analítica entiende tanto un ámbito empresarial como los métodos analíticos, y puede ayudar a los operadores y a los equipos técnicos a comunicarse. El puesto puede ocuparlo una persona con formación analítica integrada en una función empresarial o una persona experta en el ámbito con formación en analítica. Una estructura federada puede conectar a este personal integrado con un grupo central de analítica, preservando el conocimiento local y compartiendo, a la vez, estándares.
La adopción forma parte de la entrega. En American Airlines, un sistema de planificación del mantenimiento de aeronaves trabajaba con los analistas en lugar de limitarse a sustituirlos. Su optimización interactiva permitía al personal revisar horarios, ajustar datos de entrada y usar el sistema para explorar opciones. Se ascendió a los analistas, y el sistema se asoció con importantes ahorros en mantenimiento. La lección más amplia de los autores es que la participación, la comunicación y la gestión del cambio son requisitos operativos, no adornos opcionales.
Un traductor resulta valioso porque el conocimiento de una organización suele ser tácito: los trabajadores saben qué restricciones importan, pero quizá no se les ocurra mencionarlas en un documento de requisitos. Integrar a alguien que haga de puente cerca del trabajo ayuda a sacar a la luz esos supuestos antes de que se conviertan en defectos. Este enfoque también reduce el riesgo de que un equipo central de analítica diseñe pensando en un flujo de trabajo abstracto. Sin embargo, los traductores necesitan autoridad y tiempo, no solo un título nuevo. Sin acceso a quienes toman decisiones y a los usuarios, el puesto puede acabar reducido al de mensajero que traslada malentendidos entre compartimentos estancos.
Adapta el modelo y el experimento a la decisión que se quiere evaluar.
Define el objetivo antes de elegir una técnica. En un ejercicio de clase sobre la puntualidad de los vuelos, la mayoría de los equipos propuso modelos para predecir el porcentaje de vuelos que llegaban o salían a tiempo. Un equipo eligió la regresión logística porque interpretó que la pregunta consistía en predecir si un vuelo individual llegaría a tiempo. La técnica no era intrínsecamente incorrecta: respondía a otra pregunta. La regresión y los árboles potenciados por gradiente se ajustaban mejor al objetivo de predecir el porcentaje agregado descrito en el caso.
Diseña una prueba justa. Las pruebas A/B pueden comparar dos diseños de páginas web según las tasas de clics, pero los ingresos dependen de muchos otros factores, como las rutas, las tarifas, el número de pasajeros y el momento de la compra. Un sencillo experimento de clics no permite establecer qué diseño genera más ingresos. La métrica, la población y el diseño experimental deben corresponderse con la decisión; de lo contrario, un resultado de apariencia impecable puede inducir a error.
Esto recuerda que la corrección estadística empieza por la medición, no por el cálculo. Un modelo puede ajustarse a la perfección a un objetivo distinto del que las partes interesadas tenían en mente, y un experimento puede arrojar una estimación precisa del efecto equivocado. Las definiciones claras ayudan, pero no bastan si la prueba no controla las diferencias importantes entre grupos. Esta práctica se parece al diseño de un ensayo clínico: hay que especificar el resultado, la comparación y las condiciones antes de examinar los resultados. La sofisticación técnica no puede rescatar una pregunta mal planteada.
Considera la producción un compromiso independiente de ingeniería y operación.
Un cuaderno es solo el comienzo. Los autores citan una regla práctica según la cual desplegar y dar soporte a un algoritmo puede costar unos 100 dólares por cada dólar invertido en desarrollarlo. La proporción real varía, pero la puesta en producción puede exigir canalizaciones de datos, integraciones de sistemas, API, pruebas, supervisión, mantenimiento y soporte. Por eso, un piloto puede costar hasta 100 veces menos que el sistema operativo que anticipa.
La complejidad tiene sus factores. El esfuerzo aumenta con los datos en tiempo real, los puntos de integración, la importancia crítica de la misión y la complejidad del modelo o del problema. Una herramienta de planificación que usa datos semanales y tiene un grupo reducido de usuarios es distinta de un sistema que debe funcionar continuamente en toda una empresa. Antes de prometer la entrega, identifica qué exige la puesta en producción, quién operará el sistema y cómo se detectarán y gestionarán los fallos.
La brecha entre el piloto y la producción es una forma de deuda de sistemas: una demostración puede ocultar el trabajo necesario para que una herramienta sea fiable, segura, fácil de mantener y utilizable a gran escala. Por eso, el costo aparente de un modelo puede inducir a error cuando no se incluye la infraestructura que lo rodea. La cifra de 1 a 100 dólares es una regla orientativa, no una ley universal; tratarla como una proporción fija generaría su propia distorsión. Lo importante es estimar el ciclo operativo completo, no solo el código que produce una predicción.
Supervisa los datos de entrada tras el lanzamiento, porque los modelos precisos también pueden desviarse.
La producción cambia las pruebas disponibles. El rendimiento del modelo de sepsis de Epic se vio afectado por las poblaciones locales de pacientes, las definiciones, los procesos clínicos y los cambios en los códigos de enfermedades. Se diseñó una versión posterior para entrenarse con los datos de cada hospital. En FastFoodCo, un modelo de previsión probado con lotes históricos falló cuando un equipo distinto creó variables en tiempo real cuyas definiciones no coincidían exactamente con las originales. El modelo estaba listo, pero los datos de entrada en producción no eran equivalentes a los del piloto.
Supervisa ambos componentes del modelo. Los autores se basan en la experiencia de Booking.com con numerosos modelos de aprendizaje automático ya implementados: un buen rendimiento en pruebas fuera de línea no garantiza un buen rendimiento en línea. Los equipos deberían hacer seguimiento tanto de los datos de entrada como de los resultados del modelo, y usar comparaciones controladas, como las pruebas A/B, para establecer si la implementación mejora los resultados. Incluso las organizaciones maduras pueden fracasar cuando los equipos trabajan en paralelo sin definiciones compartidas.
Un modelo implementado forma parte de un entorno cambiante; no es un artefacto acabado. Supervisar únicamente las predicciones puede dejar pasar los cambios anteriores en el proceso que las vuelven poco fiables. Por eso, las definiciones compartidas de las variables y la asignación clara de responsabilidades son tanto mecanismos de gobernanza como salvaguardas técnicas. Una implementación controlada también limita los daños de una mala sorpresa. Aun así, la supervisión no sustituye al criterio: una señal de que los datos han cambiado no le indica por sí sola al equipo si debe volver a entrenar el modelo, hacer una pausa o modificar el flujo de trabajo. Las personas necesitan autoridad y experiencia para responder.
Análisis
La contribución más sólida del libro es su insistencia en que la ciencia de datos no es una competición de construcción de modelos. Es una intervención organizativa cuyo éxito depende de que la estrategia, los datos, los procesos, la infraestructura técnica y la adopción por parte de las personas funcionen en conjunto. Las historias recurrentes concretan esta idea: el programa de personalización de un minorista tropieza por la intromisión de los ejecutivos y unos incentivos desalineados; un prometedor optimizador logístico se vuelve una carga cuando sus datos operativos difieren de los supuestos; y un modelo en producción puede fallar aunque todos los equipos implicados sean competentes por separado. Son fallos en las interfaces entre especialidades, donde resulta más fácil diluir las responsabilidades.
El marco de Personas, Procesos y Tecnología, ampliado para incluir la Estrategia, ofrece a los lectores un mapa de diagnóstico útil. Su limitación es que las categorías se solapan: un problema de datos puede reflejar cuestiones de gobernanza, incentivos, competencias o liderazgo, y un defecto tecnológico puede tener su origen en requisitos de los usuarios que nunca se expresaron. El marco funciona mejor como método para organizar una investigación que como conjunto de causas independientes.
La cifra principal de fracasos merece un análisis igualmente cuidadoso. El libro reconoce que las estimaciones varían mucho y que el término «fracaso» puede referirse a situaciones que van desde no implementar un proyecto hasta obtener resultados económicos débiles. Sus cálculos posteriores sobre organizaciones maduras e inmaduras dependen de las menciones en la bibliografía y de supuestos sobre las tasas relativas de fracaso. Esos cálculos invitan a la reflexión, pero no equivalen a un censo representativo de proyectos. Los lectores deberían tomar las cifras como una advertencia sobre el desperdicio recurrente, no como probabilidades precisas para un proyecto concreto.
El mensaje práctico es más duradero que cualquier porcentaje: define la decisión y el valor antes de construir; saca a la luz los supuestos sobre los datos y los flujos de trabajo; involucra a quienes usarán el resultado; y presupuesta el ciclo operativo, no solo la experimentación. El fracaso solo sirve de algo cuando los equipos pueden hablar de él sin temor a represalias y convertirlo en cambios de diseño, gobernanza y práctica. El mejor antídoto contra la exageración no es el cinismo, sino una curiosidad disciplinada, acompañada de realismo económico y humano.
Resumen de reseñas
No hay contenido para traducir. Por favor, proporcione el texto que desea que traduzca al español.
También leyeron
Glosario
analítica, ciencia de datos e inteligencia artificial (ADSAI)
Analítica, ciencia de datos e inteligencia artificialLa forma abreviada que usan los autores para referirse a la analítica, la ciencia de datos y la inteligencia artificial, que a veces emplean indistintamente porque los proyectos suelen combinar estas disciplinas. El término agrupa métodos y tecnologías para analizar datos, crear modelos y apoyar o automatizar decisiones. No implica que estos campos sean técnicamente idénticos.
organización con escasa madurez analítica
Organización sin bases analíticas sólidasUna organización a la que le faltan varias de las condiciones necesarias para llevar a cabo proyectos de analítica de forma fiable. Estas pueden incluir datos de alta calidad y accesibles, competencias analíticas internas, apoyo ejecutivo, procesos adecuados o experiencia en la implementación de modelos. El término describe la capacidad de la organización, no la inteligencia ni el esfuerzo de determinados empleados.
traductor de analítica
Puente entre el negocio y la analíticaUna persona que conecta a especialistas en analítica con los equipos de negocio que entienden los problemas operativos y actúan para resolverlos. El traductor combina conocimientos analíticos con comprensión del dominio, y ayuda a aclarar los requisitos, comunicar los hallazgos y resolver problemas de implementación. El puesto puede ocuparlo un empleado con competencias analíticas integrado en una unidad de negocio o un experto del dominio formado en analítica.
optimización interactiva
Optimización guiada por personasUn enfoque que combina algoritmos de optimización con la intervención y evaluación iterativas de una persona usuaria. El sistema genera soluciones posibles, mientras que la persona usuaria revisa los resultados, ajusta la información o las prioridades y orienta nuevas ejecuciones. Su propósito es combinar la velocidad computacional con el juicio humano contextual, en vez de tratar el modelo como un sustituto autónomo de la persona usuaria.
zona objetivo (Target Zone)
Objetivo realista de beneficiosTérmino de los autores para un rango de expectativas que evita tanto fijar objetivos demasiado bajos como prometer en exceso. El equipo estima un beneficio plausible, se propone alcanzarlo o superarlo y puede fijar un objetivo más ambicioso. El propósito es mostrar ambición sin presentar un máximo optimista como un pronóstico fiable.
deriva de datos
Cambios en los patrones de los datos de entradaUn cambio en los datos que se encuentran tras implementar un modelo, en comparación con los datos utilizados para entrenarlo o probarlo. Los cambios pueden deberse a nuevas poblaciones, procesos modificados, códigos actualizados, equipos u otras variaciones del entorno operativo. Como los cambios en los datos de entrada pueden reducir el rendimiento del modelo, los equipos deben supervisar los datos además de las predicciones.
modelo mínimo viable
Versión mínima útil de un modeloUna versión inicial y limitada de un modelo, concebida para producir resultados útiles con suficiente antelación como para que las partes interesadas puedan evaluarlos y aportar comentarios. Puede reducir el riesgo y facilitar la iteración, pero no siempre es adecuada. Si las personas usuarias no pueden juzgar su valor porque faltan detalles o restricciones esenciales, una versión incompleta puede minar la confianza en vez de fortalecerla.
Descargar PDF
Descargar EPUB
.epub es ideal para leer libros electrónicos en teléfonos, tabletas y lectores electrónicos.