Turnitin 自从4月6日发布 AI 写作检测功能以来，该功能的实际应用效果如何？教师们又有什么意见和反馈？Turnitin 的首席产品官（CPO）Annie Chechitelli 公开了近期的发现和进展。Turnitin 始终相信，教师们掌握更多的信息，将有助于他们做出合理的决策。
我们经常听到的一个问题是：“提交到 Turnitin 的文稿中有多少是AI写作内容？”
截至2023年5月14日，在一个多月的时间里，Turnitin 对收到的 3850 万份作业进行了 AI 写作检测。其中，9.6%的作业存在 AI 写作内容占比超过20%，而3.5%的作业中 AI 写作内容占比在80%到100%之间。
上述的统计数据也包括了允许使用 AI 工具的作业，Turnitin 没有加以区分这种使用场景，也没有将这些参数定义为“好”指标或“坏”指标，数据就只是数据。Turnitin 将继续跟踪、公开这些信息，调查其他相关的数据指标，以帮助教师了解 AI 写作的宏观趋势、及其与传统的复制粘贴型抄袭的关系。
在发布 AI 检测功能前，Turnitin 团队是在一个受控的实验室环境（Innovation Lab）中测试模型。自发布该功能后，Turnitin 发现现实使用中产生的结果不同于实验室测试结果。Turnitin 调查了被机构或教师标记为需要进一步审查的论文。ChatGPT 发布前已写好的80万个学术写作样本被 Turnitin 团队放入了 AI 检测中，用以加强测试框架并诊断误报的统计趋势。
经过这项额外的测试，Turnitin 已经确定，当检测到文档中的AI 写作内容占比低于20%时，误报概率会更高。鉴于数据不一致，Turnitin 会继续测试找到根本原因。Turnitin 也考虑了针对这一情况的几种指标处理方法，包括当检测指标低于20%时不显示百分比分数，但收到了教师一致的反馈：不喜欢隐藏 AI 检测指标，因为这剥夺了他们获得更多信息和进行学术判断的机会。现在为了减少误解，低于20%的AI检测指标会带有星号，以提醒教师该分数不一定准确。
根据相关数据和测试发现，Turnitin AI 检测的准确性会随着文本的增加而提高，所以 AI 检测的文本的最低字数要求从150字增加到300字。Turnitin 会持续对检测模型进行评估，逐步调整这个最低字数要求。
Turnitin 也发现了误报更可能发生于文稿开头的引文或者结尾处的总结性句子中，因此调整了对这些部分的检测方式，以降低误报率。
我们知道，讨论学术诚信是具有挑战性的， 而 AI 写作工具等新变量的突然引入以及误报的可能性不会让这变得更容易。为了支持教育工作者能应对这些情况，Turnitin 提供了一些通用技巧。
- 事先了解情况。确保您预先考虑了误报的可能性，就您的处理流程和方法制定一份计划。如果能让学生了解这个计划就更好，那会有助于你们对作业、任务有相同的预期。
- 假设积极的意图。在这个充满新事物和未知的领域里，让学生从怀疑中获益。如果证据不明确，那就假定学生会诚实行事。
- 开诚布公。预先承认可能存在误报很重要，因此教师和学生都应该准备好开诚布公的对话。如果不承认可能会出现误报，将会导致更具防御性和对抗性的互动，最终可能会损害与学生的关系。
Turnitin 也提供了以下教育资源，帮助师生更好地就作业中的 AI 使用进行对话。
- Approaching a student regarding potential AI misuse: 这份指南就学生提交的作业中潜在的 AI 滥用提供了建议。
- Discussion starters for tough conversations about AI: 为了支持教师与学生就潜在的AI 滥用情况进行诚实、公开的对话，这份指南可以用于开启相关话题。
- AI conversations: Handling false positives for educators: 这份指南分享了教育工作者在发现误报前后可以考虑的策略。
- AI conversations: Handling false positives for students: 这篇针对学生的指南分享了他们在提交作业前后面对误报时可以考虑的策略。
- Ethical AI use checklist for students: 这是为学生提供的一份自我监督的清单，可以帮助学生在没有教育工作者在场的情况下，也能支持诚信、遵循教师的指导方针。
资料：Turnitin, LLC
iGroup是国内专业电子资源和科研资讯的服务提供商，并致力于为学术机构提供综合性的学术诚信解决方案。
iGroup中国是Turnitin/iThenticate中国区独家授权代理。如需咨询，请联系turnitin@igroup.com.cn
