GitHub hat ReviewBench vorgestellt, ein neues Benchmark-Tool zur fairen Bewertung von KI-gestützten Code-Reviews. Basierend auf 219 echten Pull Requests aus 19 Programmiersprachen zeigt das Ranking, dass Copilot Code Review an erster Stelle steht, obwohl unabhängige Tests von Martian eine niedrigere Platzierung ergeben haben.
Die Entwickler können ihren KI-Code-Review-Agenten über ReviewBench testen und optimieren. Die Ergebnisse werden in einer Bestenliste veröffentlicht, was die Transparenz und Vergleichbarkeit von KI-gestützten Code-Review-Tools erhöhen könnte.
Entwickler sollten die Ergebnisse von ReviewBench im Auge behalten, um die Leistung ihrer KI-Code-Review-Agenten zu optimieren. Die Transparenz der Bestenliste könnte zu einem Wettbewerb unter den Tools führen, was die Qualität der Code-Reviews insgesamt steigern könnte.