从一个真实的需求《Good老师考考你》开始
小朋友完成策划稿
指定题库,以保证题目不超纲不乱说乱编; 每人答题3次,自动结束并判断获奖情况; 下个人挑战不重复出题要的吧。
隐藏答案,题库中题目和答案是成对的,出题时要隐藏答案; 自动推进游戏,游戏未结束前每次公布答案后还需要继续出题; 结束游戏并算分,包括正确计算答题次数(3次)、正确回答次数和所获奖项; 继续下一位选手,上一轮游戏结束后引导后续选手继续; 随机出题,即在题库中随机选择题目; 不重复出题,全局判断重复有点难,本次测试只要在连续两位选手中不重复即为成功;
| 模型 | 版本号 | 测试环境 |
| 字节豆包 | 豆包·Function call模型 | coze.cn |
| 腾讯混元 | 元器后台无版本 | 元器+元宝App |
| 百度文心 | 百度文心4 | 文心智能体 |
| 阿里通义 | 通义千问-Max | coze.cn/通义App |
| 智谱GLM | 智谱智能体未显示版本 | 智谱智能体+轻言App |
| 月之暗面 | Moonshot(32K) | coze.cn |
| 百川 | 百小应集成版本 | 百小应App |
| Minimax | MiniMax 6.5s | coze.cn |
| GPT4 | GPT4o | coze.com |
| GPT3.5 | GPT3.5 Turbo | coze.com |
| Gemini | Gemini Pro | coze.com |
124是文课题,只要能听懂语言,大概率能作对。 356明显是需要理科思维的,尤其任务3,除智谱外所有的国产模型都做不到,但是GPT3.5能答对。
