标题：AI 文本检测器的效果如何？（基准测试）
自从人工智能日益流行，一些AI 文本检测器也应运而生。这些检测器被广泛应用于过滤含有不良信息的内容，例如色情、暴力以及虚假信息等。但是，近日一项研究表明，这些AI 文本检测器的效果并不如人们所期望的那样好。
据一家验证码供应商 hCaptcha 所公布的实验结果显示，他们的 AI 文本检测器在测试数据集中失误率高达26%。这项测试包括了26个著名的文本分类器以及10个API。这些文本分类器涵盖了各种著名的机器学习模型，例如卷积神经网络和长短时记忆网络等。
在测试中，hCaptcha 使用了来源于 Language Model Poisoning Attacks （LLM）攻击的数据集。LLM 攻击是一种可以欺骗AI分类器的攻击方式，它通过向训练数据集中注入一些有害信息来改变AI分类器的预测结果。在这次测试中，LLM 攻击成功率高达100%。
这项测试结果引起了广泛的讨论和关注。有人质疑，AI 文本检测器有可能会在将来成为类似 Adversarial Attack （对抗性攻击）这种攻击方式的靶子。因此，必须采取更好的技术手段来提高AI文本检测器的准确度和鲁棒性。
然而，无论如何，我们不能因为这次实验结果就否定AI文本检测器的价值。毕竟，AI文本检测器在防止有害信息的传播方面仍然发挥着重要作用。相信随着技术的不断进步，AI文本检测器的效果也将不断提高。
了解更多有趣的事情：https://blog.ds3783.com/