PC Slower Than It Used to Be?
A free scan shows the junk files, broken settings and background clutter dragging Windows down - then fixes them in one click.Free scan · Windows 10 & 11Outdated Drivers Are Slowing You Down
One free scan finds every outdated or missing driver and matches the right update for your exact hardware.Free scan · exact hardware matchiTechGuides is reader-supported. When you buy through links on our site, we may earn an affiliate commission. As an Amazon Associate I earn from qualifying purchases. Learn more
Un reflector puede proponer cambios al prompt de un agente de AWS AgentCore a partir de sus ejecuciones y de una métrica definida. En una demo de soporte al cliente, Kevin Lupera reportó que un subagente reflector elevó el resultado de su evaluador de 72,62 % a 95,83 %. Es un resultado de esa implementación, no una medición independiente ni una garantía de mejora en producción.
Qué probó la demo de AgentCore
Lupera construyó un agente de soporte con herramientas simuladas y tickets relacionados con pedidos. Algunos errores consistían en emitir reembolsos sin comprobar primero si correspondían. La demo generaba trazas de ejecuciones, proponía ajustes al prompt del sistema y evaluaba los cambios con casos separados de los usados para optimizar.
La idea general coincide con el flujo que AWS documenta para AgentCore Optimization: usar trazas del agente y un evaluador para orientar recomendaciones sobre el prompt del sistema o las descripciones de herramientas. La métrica elegida define qué comportamiento intenta mejorar el proceso.
What’s actually slowing this PC down?
Pick the symptom - the matching free tool is one click away.
Qué resultados informó el autor
Estos son los porcentajes y presupuestos que aparecen en la tabla de Lupera. Son resultados publicados por el autor para su demo; no constituyen benchmarks validados por AWS ni una comparación independiente.
#1 Best Overall
| Método | Resultado informado | Presupuesto informado |
|---|---|---|
| Baseline | 72,62 % | La tabla no indica turnos ni tiempo para el baseline. |
| GEPA | 79,63 % | 100 turnos; 108 minutos. |
| MIPROv2 | 74,40 % | 100 turnos; 216 minutos. |
| Single Agent Reflector | 81,55 % | 20 turnos; 6 minutos. |
| Sub-Agent Reflector | 95,83 % | 100 turnos; 193 minutos. |
Los métodos no recibieron el mismo presupuesto de turnos ni el mismo tiempo. Por eso, el resultado más alto no demuestra por sí solo que el método sea más eficiente en coste o que vaya a superar a los demás en otro agente, conjunto de pruebas o evaluador.
Por qué el 95,83 % no prueba un 100 % de éxito
El artículo presenta dos tablas sobre ocho tickets apartados para evaluación. La tabla de resumen muestra ocho aciertos después de la optimización, pero la tabla detallada registra errores posteriores para los tickets B203 y B204. También hay diferencias entre ambas tablas en algunos estados iniciales. Esa inconsistencia impide tratar el detalle como confirmación de un 100 % de acierto; conviene ceñirse al porcentaje resumido como resultado que el autor reporta y señalar la discrepancia.
Cómo funciona la optimización y qué decide el evaluador
En el flujo documentado por AWS, se parte de trazas y se elige una señal de evaluación para expresar el objetivo. AgentCore puede generar recomendaciones de cambios; el proceso no determina por sí mismo qué resultado importa en el producto. Si la métrica no representa el objetivo real, el agente puede mejorar la puntuación y aun así comportarse peor en lo que interesa a sus usuarios o al negocio.
- GoalSuccessRate: puede servir para tareas con un resultado concreto que se pueda evaluar.
- Helpfulness: está pensado para interacciones más abiertas.
- Evaluador personalizado: permite representar una métrica de dominio que las opciones integradas no capturan bien.
La documentación oficial de Amazon Bedrock AgentCore advierte: “Recommendations are generated by LLMs. Review and test before applying.” Una recomendación es una propuesta generada por un modelo, no una validación de que el cambio sea seguro o correcto.
Cómo validar un cambio de prompt antes de producción
La documentación de AWS describe dos vías complementarias: evaluación offline por lotes con sesiones de prueba y pruebas A/B que distribuyen tráfico de forma controlada y puntúan el comportamiento online. Antes de implementar una recomendación, compara el prompt actual y el propuesto con las mismas tareas y un evaluador alineado con el resultado que realmente importa.
- Define el criterio de éxito. Elige GoalSuccessRate, Helpfulness o un evaluador personalizado según el tipo de tarea; describe qué cuenta como éxito y qué errores deben penalizarse.
- Prepara un conjunto de prueba separado. Incluye variedad de situaciones y casos límite relevantes, sin reutilizar como evaluación final los mismos ejemplos que guiaron la optimización.
- Puntúa la versión actual y la recomendada. Mantén constantes las tareas y el evaluador para que la diferencia observada no se deba a un cambio en el método de medición.
- Revisa regresiones, no solo el promedio. Comprueba errores de alto impacto —como emitir un reembolso no autorizado— además del resultado agregado.
- Prueba gradualmente en tráfico controlado si procede. Usa una prueba A/B y supervisa las métricas online antes de extender el cambio.
- Inspecciona y aprueba la recomendación. Revisa el texto propuesto y sus efectos antes de aplicarlo; conserva una forma de volver al prompt anterior si aparecen regresiones.
La observación del autor sobre instrucciones concretas
Lupera atribuyó parte de la convergencia de su implementación a dar al reflector un objetivo de longitud preciso, en vez de una lista amplia de fallos. Su observación fue: “Lo que destrabó la convergencia (50%→100% en 3 epochs) fue darle un número exacto de caracteres, recalculado por epoch, en vez de un porcentaje.” Es una experiencia reportada en esa demo, no una regla universal para diseñar prompts ni una garantía de convergencia.
Independent reader supportYour contribution helps us test, update, and keep practical guides available for everyone.Qué se puede concluir —y qué no—
La demo muestra un uso plausible de las trazas y recomendaciones de AgentCore para iterar sobre un prompt, y reporta una mejora marcada en la puntuación de su evaluador. No demuestra que AgentCore mejore cualquier agente, que el cambio sea seguro en producción ni que un método sea superior con presupuestos equivalentes. Los precios actuales, permisos de cuenta, disponibilidad regional y pasos exactos para reproducir esa configuración no quedan establecidos por la información publicada sobre la demo; verifícalos en AWS para tu cuenta y región antes de planificar una implementación.
Recommended Free Tools
Quick Recap
Product prices and availability are accurate as of the date/time indicated and are subject to change. Any price and availability information displayed on Amazon at the time of purchase will apply.
