Métricas para
AI-driven development
Victor Galvez
Technical Lead, squad de Design System, BCP
Me preguntaron si era más productivo con IA.
Dije que sí.
No tenía cómo probarlo.
Todos ya usan IA. Pero más rápido no es mejor.
Líneas de código generadas
% de sugerencias aceptadas
Tokens consumidos
Suenan bien. No dicen nada.
Mismas herramientas, distinto resultado
Con las métricas de vanidad gana Dev A. Con las tres señales gana Dev B.
Un proxy y un hook entre el developer y el modelo
Cambias la base URL del agente y listo
Cada request queda registrado: quién, qué modelo, tokens, costo, latencia
# Claude Code export ANTHROPIC_BASE_URL="https://TU_HOST/anthropic" export ANTHROPIC_AUTH_TOKEN="TU_VIRTUAL_KEY" claude
Un script instala hooks en Claude Code y detecta Copilot
Captura la sesión aunque no pase por el proxy
Por persona, no solo el promedio del equipo
Gasto total de tokens y costo, por persona, modelo y agente
Cadencia de cada modelo: requests, latencia, fallos
Cuánto contexto da cada developer y cuántas veces reintenta
Quién solo pide código y quién también pide tests o revisión
Shadow AI: quién no pasa por el proxy
Puede avisar si alguien pega una API key o datos de clientes
No necesitan LLMeter.
Armen algo parecido, a la medida de su equipo.
