程序员自制开源 AI 评分工具,衡量大模型“愚蠢程度”

→ 源码教程下载地址见 →右侧下载链接 →点“登录购买”→注册登录购买后可见→
→ 这里没有广告,只有干货! 给力项目更多教程,点此加入VIP会员,即可免费下载!
→ 每日分享你意想不到的网络思维!加入红帽VIP会员,感受一下网络赚钱的快感,点击进入了解。

9 月 18 日消息,程序员 ionutvi 今天发布了名为 AI Benchmark Tool 的 AI 评分工具,可衡量各大 AI 模型的“愚蠢程度”,帮助代码工作者选择最准确性最佳、更具性价比的 AI 工具。

ionutvi 表示,他在使用 ChatGPT、Grok、Claude 等 AI 大模型时经常发现,有时候这些模型第一天工作正常,但第二天就会“降智”,做相同的任务时胡乱回答,有时候干脆拒绝回答相同问题,很多人认为这只是自己的问题,但这实际上官方有意降低了模型的性能,毕竟 Anthropic 官方就承认过这个问题。

因此他制作了这款 AI 评分工具,它可以自动在多款大模型运行 140 项编程、调试和优化任务,从准确性、拒绝回答率、回答时间、稳定性等方面衡量 AI 模型的“愚蠢程度”,并根据评分自动排名。

并且这名开发者还结合了各家的 AI 模型的价格综合评比,让用户知道每款模型的使用成本,有的 AI 模型看起来很便宜,但可能需要迭代 10 次才能得到能用的答案;而有的模型虽然价格比较高,但只要迭代两三次就能得到能用的版本,这种情况下稍贵的那款模型性价比就更高。

附该工具开源链接如下:

https://github-com.translate.goog/StudioPlatforms/aistupidmeter-api?_x_tr_sl=fr&_x_tr_tl=ro&_x_tr_hl=en&_x_tr_pto=wapp


温馨提示:
1、如非特别声明,本内容转载于网络,版权归原作者所有!
2、本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
3、本内容若侵犯到你的版权利益,请联系我们,会尽快给予删除处理!
我要投诉
红帽SEO工作室 » 程序员自制开源 AI 评分工具,衡量大模型“愚蠢程度”
在线客服 购买特价主机

服务热线

139-3511-2134

关注红帽网络

微信客服

微信客服