使用语音代理进行口头期末考试
这太棒了。任务:一位教授实施了使用语音代理进行面试并由LLM评审团评分的口头期末考试系统。工作流程包括随机致电学生以验证理解程度,然后过渡到AI驱动的口头考试以评估实时推理能力。人类教师定义评估标准并审查生成的转录文本和反馈。;工具:custom-built or unnamed agent。人工角色:原始帖子未说明人类如何保持参与。;局限:来源为社交媒体帖子,因此未提供具体的技术配置和提示工程细节。低成本和高效率可能无法线性扩展到更大的班级,除非进行基础设施调整。学生对AI形式的偏好较低,表明可能存在采用阻力。。
工具
custom-built or unnamed agent
Agent Work Atlas 发布日期:
概述
这太棒了。
工作流程
一位教授实施了使用语音代理进行面试并由LLM评审团评分的口头期末考试系统。工作流程包括随机致电学生以验证理解程度,然后过渡到AI驱动的口头考试以评估实时推理能力。人类教师定义评估标准并审查生成的转录文本和反馈。
原文报告的结果
该系统在9天内考核了36名学生,平均每次考试耗时25分钟,总成本约为15美元(每名学生0.42美元)。它生成了完整的转录文本、审计跟踪和可操作的反馈,揭示了全班在A/B测试方面的弱点。只有13%的学生更喜欢AI口头考试形式。
人工角色
原始帖子未说明人类如何保持参与。
局限
来源为社交媒体帖子,因此未提供具体的技术配置和提示工程细节。低成本和高效率可能无法线性扩展到更大的班级,除非进行基础设施调整。学生对AI形式的偏好较低,表明可能存在采用阻力。
试一试
我想为我的[课程名称]班级试点AI辅助口头考试。首先,创建一个语音代理提示,要求[学生姓名]用25分钟时间解释其在[具体项目决策]背后的推理。然后,设置一个由三个LLM组成的评审团,根据[评分标准]对转录文本进行评分。生成完整的转录文本和关键见解摘要。在针对真实学生运行之前,使用我提供的测试转录文本进行试运行。向我展示评分输出和成本估算。在我批准测试结果之前,不要发送任何实际通话或电子邮件。如果LLM对评分存在分歧,请标记以供我手动审查。
来源报告未经独立核验。发布日期为本站案例发布日期,并非原始文章日期。