GitHub lanza ReviewBench; Copilot generó el 45% del solucionario
RuntimeWire encontró que Copilot Code Review suministró 1,185 de 2,623 hallazgos verdaderos positivos. GitHub dice que su cifra de validación del 96.6% cubrió solo 1,500 hallazgos ya etiquetados como verdaderos positivos.
By Emerson Redding · Published · Updated
Primary source: github.blog
Por qué importa
Casi la mitad de la clave de respuestas de verdaderos positivos de ReviewBench provino del propio Copilot Code Review de GitHub, lo que crea un posible problema de auto-inclusión cuando Copilot se evalúa con esa clave. La divulgación propuesta de las fuentes y la exclusión de los hallazgos producidos por el agente que se está evaluando ayudaría a los usuarios a evaluar los resultados sin que esos hallazgos formen parte de la clave de respuestas.
GitHub lanzó ReviewBench el 5 de octubre, y la revisión de RuntimeWire del benchmark público encontró que su producto Copilot Code Review aportó 1,185 de los 2,623 verdaderos positivos del conjunto dorado.…
When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.