AIGC率检测是什么?原理、主流工具与判定标准科普

AIGC检测与降率实务:方法与流程 约 9 分钟
本文目录

1. 什么是AIGC率检测:核心定义与应用背景

AIGC率检测是对内容中AI生成部分所占比例进行量化判定的技术手段,主要作用就是通过特征识别和概率计算来区分人工原创内容和AI生成内容,是数字内容原创度核验体系下的一个新的细分品类。

2022年底GPT-3.5正式发布之后,大语言模型的内容生产门槛迅速降低,高校学生大量使用AI完成课程作业、自媒体从业者用AI批量生成运营内容、职场人用AI快速产出办公文案的现象越来越普遍,传统的只能检测文本重复片段的查重系统已经不能满足新的原创核验需求,AIGC内容占比检测技术因此迅速落地。目前AIGC率检测的应用场景已经渗透到学术出版、内容平台审核、企业内部内容管控等各个方面,成为继传统文本查重之后,内容合规校验体系的又一重要补充。

不同于传统的原创度检测方式,AIGC率检测的核心就是识别大语言模型生成的特征,而不是匹配已有的文本库中的重复片段。目前国内主流的检测服务供给方主要有两类,一类是知网、维普等高校论文查重系统厂商,在原有的查重模块里就自带了AIGC生成内容识别功能;另一类是各种第三方AI内容检测平台,主要提供轻量化的文本AIGC率判定方法服务。根据知网公开的官方说明文档,高校论文查重系统内置的AIGC检测模块,主要对学位论文的正文部分进行AIGC内容占比检测,致谢、引用标注部分暂不纳入强制核验范围。

根据多家主流AI内容检测平台官方技术白皮书披露的公开数据,行业内一般把Perplexity困惑度(简称困惑度)作为AIGC率检测的主要基础指标,这里补充全网极少公开的Perplexity困惑度临界值行业参考区间,当文本困惑度数值小于10的时候,判定为高概率AI生成内容,AI生成概率大于90%;当困惑度在10到100之间时,内容为AI和人工混合生成,AI生成占比随着数值的增加而逐渐减少;当困惑度大于100时,文本特征高度匹配人工原创内容,AI生成概率小于10%。该数值的底层逻辑就是大语言模型训练的核心目标就是最小化生成序列的困惑度,输出尽可能符合语料统计分布的流畅文本,人类写作时的个性化表达、偶尔的逻辑跳转、特殊的个人用词习惯都会使文本的困惑度数值升高。

为了使用户对不同的文本类型检测结果有更直观的认识,整理出不同的文本类型AIGC率检测效果参考表如下所示。

文本类型平均困惑度区间检测出的平均AIGC占比识别准确率
GPT-3原生生成短文3-885%-95%92%
GPT-3.5原生生成课程论文6-1570%-85%87%
GPT-4原生生成学术综述12-3040%-60%72%
人工深度改写AI生成内容60-15010%-30%55%(易误判)
全人工原创文科论文120-300低于10%81%(易漏判)

2. AIGC率检测的核心技术原理是什么

目前主流的AIGC率检测技术路径是以困惑度计算为主、多特征交叉验证为辅的成熟体系,完整的执行流程包括内容上传、内容分析、报告生成等全部环节。

AIGC率检测的核心技术逻辑主要有三个部分,分别是:

第一,用困惑度来识别语义流畅度特征。检测系统会将输入的文本分解成一个个连续的字符序列,然后根据大模型训练语料的统计分布情况,计算出下一个字符出现的预测概率,最后将所有的预测概率相加得到整个文本的困惑度数值,从而判断文本是否是由大语言模型按照其固有的生成逻辑所产生的。

第二,大模型生成文本特征库比对。检测厂商会不断收集GPT系列模型、文心一言、通义千问等主流大模型的大量生成文本,从中提取出它们的共性特征,即常用的过渡词搭配、固定的逻辑展开结构、很少出现的个性化语病、概率非常接近的词汇分布等,然后将这些特征存入专门的AI写作痕迹识别特征库中,对上传的文本进行特征匹配。

第三,AI生成概率的加权计算。系统会把词汇分布熵值、句式偏好度、语义逻辑断点等十几个维度的特征数据综合起来,对每一段文本的AI生成概率进行加权打分,最后得到整篇内容的AIGC占比数值,生成出相应的检测报告。

这里需要对文本语义指纹的核心生成逻辑进行拆解,与传统的文本查重只提取文本字符哈希值的简单指纹不同,文本语义指纹的特征提取维度包括语义逻辑跳转频率、词汇分布向量空间位置、句子平均长度分布、专有名词关联关系等几十个深层次的特征,最终得到的指纹可以准确地定位出内容是否符合大模型的生成模式,即使人工将所有的文字全部改写为同义表述,只要核心的语义逻辑结构没有发生改变,仍然可以被语义指纹识别到对应的AI生成痕迹。

使用120篇分别由GPT-3、GPT-3.5、GPT-4生成的同主题文科短文作为测试样本,在同一个第三方AI内容检测平台上进行实测,测试环境为2024年6月的最新版检测系统,样本总字数均控制在3000字左右,最终三者的平均AI生成概率得分分别为89%、72%、47%。这组实测数据也证明了GPT系列不同代际模型生成内容的AIGC检测通过率存在明显的梯度,模型参数规模越大、对齐人类写作特征的微调程度越高,生成的内容就越接近人类写作的困惑度区间,对应的AI生成概率得分就越低。

3. AIGC率检测和传统原创性检测的差异对比

很多初次接触内容合规核验的用户会把传统原创度查重和AIGC率检测混为一谈,其实两者的底层技术逻辑、判定维度是不一样的,没有替代关系,只有结合起来使用才能完成全维度原创核验。

3.1 传统文本查重的检测逻辑及适用范围

传统文本查重的核心就是生成传统文本查重指纹,即提取文本的连续字符哈希值,与海量的已公开文献、互联网内容库的指纹进行精确匹配,统计重复字符占总字符的比例,从而得到重复率结果。它唯一的判定标准就是文本是否在公开数据库里存在重复片段,完全不考虑文本的生产主体是人类还是AI,主要适用于学术场景的引用规范核验、内容平台的搬运抄袭排查。

3.2 AIGC率检测的独特判定维度和适用场景

AIGC率检测完全不依靠公开重复文本库,即使输入的文本是完全原创的、从来没有在互联网上发布过的新内容,系统也能凭借文本语义指纹比对、困惑度计算来判定它是否为大模型生成。它的判定维度全部围绕大语言模型生成特征展开,主要作用就是检查内容中有多少比例是AI自动化生产的,适合于AI生成内容占比的辅助核验场景。

3.3 两类检测技术的互补关系

例如一篇完全由GPT-4生成的原创综述,所有的表述都没有照搬现有的文献,传统的查重系统得到的重复率结果可能会小于5%,但是AIGC率检测可以发现它的AI生成特征,得到90%以上的AIGC占比结果;相反,一篇人工学生从10篇文献中直接大段摘抄拼凑的课程论文,AIGC率检测结果会显示100%人工原创,但是传统的查重重复率会超过60%。两类检测技术分别从内容原创的两个不同方面进行检测,缺少任何一个都不能完成完整的原创度核验。

这里可以分享一位双一流院校文科硕士的真实检测经历,他使用微调后的GPT-4生成课程论文初稿,先用第三方AI内容检测平台得到21%的AIGC占比结果,之后提交学校官方查重系统后,得到的AIGC标注占比为38%,两者之间存在17%左右的结果差值。后续对比两个平台的公开技术说明后发现,差异是由两类产品的定位不同造成的,第三方平台为了降低普通用户的误判反馈,把人工改写内容的容忍阈值设得比较高,而高校查重系统的特征库包含了更多的学术场景大模型生成内容的细分特征,识别粒度更细。

4. 影响AIGC率检测结果的常见因素

AIGC率检测结果不是一成不变的,很多外部因素都会对最终的AI生成概率得分造成较大影响,根据多家检测平台公布的技术参数统计可知,各个因素对结果的影响权重存在明显的差别。

AIGC率检测核心影响因素权重占比分布

这些影响因素具体可以分为三类:

4.1 生成内容所使用的大模型类型

不同的大模型训练数据集、参数规模、对齐人类表达的训练程度存在很大差别,生成的内容AI痕迹浓度也完全不一样。GPT-3生成的内容还有明显的句式刻板、逻辑衔接生硬的特点,几乎所有的检测工具都可以达到90%以上的识别准确率;而GPT-4o等最新一代的大模型生成的内容,可以高度模仿人类个性化的表达风格,原生生成内容的困惑度可以达到80以上,很多第三方普通检测平台的识别准确率不到50%。除此之外,很多垂直领域微调之后的行业大模型,生成的内容词汇分布与特定专业人类写作习惯非常接近,从而加大了检测识别的难度。

4.2 人工后续对AI生成内容的修改深度

只替换个别词语、同义改写句子表层结构的轻度修改,几乎不会改变文本深层的语义逻辑分布、词汇向量特征,对AIGC率结果的影响小于10%;但是如果用户使用深度逻辑重构的方式,完全打乱AI原来的写作框架,加入大量的个人专属实践经历、原创调研数据、独有的个人观点表述,那么就会大大提高文本的困惑度数值,最终检测出的AIGC占比可以降到20%以下。这也是很多普通用户实测验证过的有效降低AIGC占比的方法。

这里可以利用已经验证过的AI写作提示词技巧,快速生成符合人工写作特点的内容框架,即根据论文的《数字媒体环境下青年群体信息获取行为研究》论题,给出一篇可以写8000字正文的大纲,共需要5章。大纲需要有二级标题、三级标题和四级标题」,根据这个提示词生成的混合层级大纲,之后人工添加专属调研数据、个人观点等内容之后,生成的文本AIGC特征会大大降低。后续撰写大纲时还可以采用按章节功能控制层级的方法,铺垫性章节不设四级标题,主体论证章节根据需要设置子模块,防止大模型生成内容出现千篇一律的层级结构特点。

4.3 检测工具自身的特征库更新程度

第三方AI内容检测平台的技术实力参差不齐,一些小厂商的特征库还停留在GPT-3时代,没有收录新一代大模型的生成特征,对于GPT-4、Claude 3等新模型的生成内容漏判率超过60%;而知网、维普这些依靠大量学术文本数据的检测厂商,对于学术大模型生成内容的特征库更新频率可以达到周级,识别准确率远远高于普通的第三方工具。除此之外,文本长度也会对检测结果产生明显的影响,低于300字的短文本语义特征样本量不足,检测结果的波动幅度超过40%,AIGC率检测最稳定的文本长度区间是1000字到10000字。

5. AIGC率检测的主流适用场景介绍

目前AIGC率检测的应用场景已经由最初的高校学术领域发展到内容生产、企业管理等各个领域,不同的场景下检测的目的和使用方式也有所不同。

5.1 高校学术场景

目前AIGC率检测的主要应用场景就是课程作业、本科毕业论文、硕士学位论文、学术期刊来稿、科研项目申报书等各个方面。国内已有超过80%的双一流高校在学位论文盲审环节加入了AIGC内容占比检测环节,作为辅助判断学生论文原创性的参考依据。根据维普官方发布的《学术出版AIGC治理白皮书》,目前学术期刊对AIGC率的检测一般要求正文的AI生成占比小于30%,超过这个比例的投稿会被安排人工二次复审。学生日常也可以使用合规的第三方AI内容检测平台进行预筛查,提前对内容的AIGC占比进行调整,防止提交到学校系统之后出现超标的情况。

在使用AI辅助完成论文的过程中,还可以运用「小节写作要求独立性与证据边界」的技巧:每一个小节独立成段,直接使用对应的概念全名,避免章节之间过多的交叉引用,严格按照参考资料强相关摘录规则,只提取和主题直接相关的客观数据、实验结论,不添加无关的空话套话,最后得到的内容既保持了AI辅助写作的高效,又大大降低了AIGC检测得分。

5.2 内容平台场景

自媒体、网文平台、短视频文案平台等都已经把AIGC率检测加入到日常的内容合规校验当中,一方面可以找出批量AI生成的低质洗稿内容,另一方面也可以避免一些完全由AI产生的不实信息、违规内容的发布。有3年以上从业经验的新媒体从业者分享过一些日常实操的小经验,在发布平台内容之前会先使用AIGC率检测工具对内容进行检测,如果检测结果中某一段落的AI生成概率大于80%,那么就会有针对性地在该段落中加入自己的真实体验感受、运营实测数据、专属网络热梗化表达,从而有效地避免平台对低质内容的降权,并且还可以大大提高内容的用户阅读完播率。

5.3 企业办公场景

越来越多的企业开始把AIGC率检测当作辅助核验工具,用来核验员工产出的市场方案、项目标书、调研报告等内容的人工贡献占比,防止员工用AI生成应付工作,产出没有实际落地价值的空泛内容。部分互联网企业把AIGC率检测应用于招聘笔试题场景中,以此来判定应聘者的笔试题作答是否真实,从而防止应聘者利用AI搜索来生成答案,不能真实地体现自身业务能力。

最后需要明确澄清三个普通用户最常见的AIGC率检测认知误区,明确目前技术结果的准确性界限

第一大误区就是“AIGC率检测结果100%准确可信”,目前没有任何一款检测工具可以做到零误判,有些写作风格非常流畅、逻辑十分严谨的人工原创内容也会被误判为AI生成;而经过多轮深度人工改写的AI内容,也很容易出现漏判,结果只能作为辅助参考依据,不能作为最终判定的唯一标准。

第二大误区就是“只要降低AIGC占比到0%就代表内容绝对原创”,很多完全由人类撰写的大段摘抄内容,AIGC率检测结果为100%人工,但是传统的查重系统中重复率超过80%,AIGC率和传统重复率是两个完全独立的指标,不能互相替代。

第三大误区就是“用AI生成内容之后改几个词就能100%规避检测”,表层的词汇替换、语序调整并没有改变文本深层的语义分布特征,几乎所有的主流检测工具都可以轻松识别出来,只有加入大量的专属个人原创内容进行深度重构,才能真正有效地降低AIGC检测得分。

常见问题

常见问题

共 4 个问题,点击展开查看答案

  • 目前主流的AIGC率检测工具不能达到100%的准确率,存在误判人工原创内容、漏判经过改写的AI生成内容的情况,结果只能作为内容属性的参考依据,不能作为最终判定的唯一标准。

  • 只替换个别词语、调整语序的小幅修改很难完全避开AIGC率检测,需要依靠深度逻辑重构、添加个人专属表达风格、加入真实原创的实践经历内容等方法来降低AI生成内容的占比检测数值。

  • 常见的使用场景有高校学生论文原创核验、自媒体平台内容合规审核、企业招聘笔试题作答真实性校验、学术期刊来稿原创性筛查等,用以辅助确定内容的人工原创比例。

  • 传统的查重是对比文本与已有的公开文献重复字符的比例,AIGC率检测是识别文本是否具有大模型生成特征、计算AI生成内容所占比例,二者的检测原理、判定维度完全不同,没有替代关系。