Free tools Windows power users keep installed
One-click scans. No signup required.
iTechGuides is reader-supported. When you buy through links on our site, we may earn an affiliate commission. As an Amazon Associate I earn from qualifying purchases. Learn more
Jeff es un proyecto independiente de clasificadores compactos que eligen entre opciones descritas en lenguaje natural. El proyecto informa una mediana de 22 ms por decisión para Jeff-Qwen3.5-0.8B en una NVIDIA RTX PRO 6000, con entradas y condiciones de prueba concretas: no es una cifra garantizada en cualquier ordenador. Jeff está pensado para clasificar opciones acotadas, no para planificar ni resolver tareas de razonamiento en varios pasos.
Qué hace Jeff y cómo toma una decisión
Se le proporciona una situación y un conjunto de opciones expresadas en texto. En lugar de generar una explicación en prosa y analizarla después, Jeff calcula probabilidades para las opciones mediante una pasada hacia delante. El resultado ayuda a seleccionar una opción; no equivale a una cadena de razonamiento ni demuestra por sí solo que la respuesta sea correcta.
El repositorio oficial describe modelos ajustados de Qwen3.5 y Gemma 4, y enumera tres tipos de pregunta: choice, para elegir entre opciones; noul, para una respuesta sí/no; y score, para asignar una puntuación. En Qwen, el proyecto indica un máximo de 254 opciones.
Do these 3 things before closing this tab:
1Clear out junk files and repair common Windows errors2Scan for outdated or missing drivers - takes under a minute3Repair Windows errors before they cause bigger problemsLa distinción práctica es importante: un clasificador puede escoger una categoría, una intención o una herramienta entre alternativas preparadas. No es un sustituto directo de un modelo que tenga que descomponer una petición abierta, planificar acciones o revisar una secuencia de decisiones.
#1 Best Overall
Qué significa realmente «22 ms»
La cifra es una mediana publicada por el mantenedor para Jeff-Qwen3.5-0.8B: 22 ms por decisión en una NVIDIA RTX PRO 6000. La prueba procesó individualmente las mismas 200 preguntas de benchmark, con entradas de alrededor de 200 tokens, desde el texto hasta las probabilidades. Son datos del proyecto consultados el 7 de octubre de 2026, no una medición independiente ni una promesa para otras cargas de trabajo.
El mismo conjunto de resultados muestra cómo cambia el tiempo con el dispositivo y el modelo. Estas cifras no son una comparación controlada entre equipos distintos; corresponden a las configuraciones publicadas por el proyecto.
| Modelo | NVIDIA RTX PRO 6000 | Apple M4 Max (MLX) | CPU de 32 hilos |
|---|---|---|---|
| Jeff-Qwen3.5-0.8B | 22 ms | 28 ms | 463 ms |
| Jeff-Qwen3.5-2B | 24 ms | 60 ms | 708 ms |
| Jeff-Gemma4-E2B | 29 ms | no indicado | 1,0 s |
Las latencias de la tabla son medianas por decisión publicadas por el proyecto para sus configuraciones de prueba; la cifra de Apple silicon corresponde a MLX. No permiten predecir el rendimiento en otro modelo de dispositivo, con otras longitudes de entrada, concurrencia o carga de sistema. Tampoco deben mezclarse con las mediciones posteriores de adaptadores: el proyecto describe esas pruebas con métodos, peticiones y configuraciones diferentes.
Qué versión elegir para clasificación zero-shot
La versión importa. El repositorio recomienda Jeff v1.2 para uso zero-shot sin adaptador. v1.3 está orientada a adaptadores y, según la documentación del proyecto, rinde peor en listas largas de opciones desconocidas. Por eso, no basta con instalar «Jeff» y asumir que cualquier versión representa el mismo caso de uso o rendimiento.
El proyecto documenta ejecución local mediante PyTorch en GPU NVIDIA o CPU, MLX en Apple silicon para Qwen y archivos GGUF para llama.cpp. El hardware necesario depende de la ruta elegida y del modelo: el resultado de 22 ms corresponde a una GPU concreta, pero el proyecto también informa mediciones en Apple silicon y CPU. La RTX PRO 6000 es el equipo de referencia de esa medición, no un requisito universal.
Qué dicen los resultados de calidad y qué no dicen
El mantenedor publica resultados de 4.599 preguntas repartidas entre cinco benchmarks públicos. En ese panel, Jeff-Qwen3.5-0.8B v1.2 obtuvo 78,7% en conjunto; Jeff-Qwen3.5-2B v1.2, 81,7%; y Jeff-Gemma4-E2B, 81,6%. Son resultados reportados por el proyecto para esa muestra, no una medición de adopción ni una garantía de precisión en una aplicación concreta.
El rendimiento varía por tarea: el proyecto informa cifras altas en Financial PhraseBank y RAGTruth, pero resultados inferiores a Jev en BBH, JudgeBench, WinoGrande y JevBench hard. En JevBench hard, el conjunto publicado por separado contiene 105 preguntas. Además, el repositorio advierte que las cifras de Jev y AutoJev usan muestras distintas de los mismos benchmarks, por lo que la comparación directa tiene esa limitación.
En consecuencia, un promedio global no basta para decidir si Jeff sirve para una tarea. Las categorías, el lenguaje y los errores costosos pueden ser distintos en un sistema real. Antes de adoptarlo, conviene medirlo con ejemplos representativos y establecer qué debe ocurrir cuando la clasificación falla o la entrada no encaja con ninguna opción.
Independent reader supportYour contribution helps us test, update, and keep practical guides available for everyone.Cómo evaluar Jeff para un caso de uso
- Define el conjunto de decisiones. Prepara los hechos y las opciones en el sistema que llama al modelo. Jeff funciona mejor cuando las alternativas describen claramente los resultados posibles, no cuando se le pide inventar el espacio de soluciones.
- Redacta las opciones de forma consistente. Evita que unas opciones sean mucho más específicas o informativas que otras, porque la formulación puede influir en la clasificación.
- Prueba la versión y la ruta de ejecución que usarás. Para zero-shot sin adaptador, el repositorio recomienda v1.2; evalúa con el hardware y las entradas previstos, no con una latencia medida en otro equipo.
- Construye una evaluación representativa. Incluye casos comunes, ambiguos y difíciles, y revisa los errores por categoría. Los promedios de benchmarks públicos no sustituyen esa comprobación.
- Decide qué hacer con casos inciertos o fuera de alcance. Define una ruta de revisión, rechazo o escalamiento para que una probabilidad no se trate automáticamente como una decisión correcta.
Usos que muestra el proyecto
El repositorio enumera adaptadores para tareas como clasificación de tickets e intenciones de soporte, elección de herramientas, grounding y reranking de pasajes, navegación por voz, detección de spam o phishing, análisis de cláusulas legales, revisión AML, screening de sanciones y triage de alertas SOC. También incluye ejemplos de guardia contra prompt injection, clasificación de emociones y decisiones de trading bajo reglas escritas.
Que exista un adaptador no demuestra que sea adecuado para una implementación real. Revisa sus datos, errores y licencia por separado; algunos adaptadores tienen condiciones no comerciales, y el repositorio remite a cada ficha para conocer los términos aplicables.
Independencia, relación con Jev y licencias
Jeff declara que no está afiliado ni respaldado por TypeSafe, la empresa que desarrolla Jev. El código de Jeff se publica bajo MIT y sus pesos bajo Apache 2.0; las licencias de los adaptadores pueden variar. No se debe asumir que un adaptador comparte la licencia del código o los pesos, ni que todos permiten uso comercial.
Las cifras de latencia, benchmarks y adaptadores citadas aquí son las que publica el proyecto oficial. No hay una cifra independiente establecida en las fuentes disponibles sobre adopción, ahorro monetario o rendimiento operativo en producción. Para verificar versiones, resultados y términos vigentes, consulta el repositorio oficial de Jeff; su contenido puede cambiar.
Quick Recap
Product prices and availability are accurate as of the date/time indicated and are subject to change. Any price and availability information displayed on Amazon at the time of purchase will apply.
