[发明专利]一种实现文本内容安全审核的方法及装置

说明书

本申请公开了一种实现文本内容安全审核的方法及装置，通过获取审核内容，根据内容ID确定所述审核内容是否有审核记录；如果所述审核内容的页面正常，没有审核记录则对所述审核内容进行关键词过滤；如果关键词过滤后，所述审核内容中无敏感词，则确定所述审核内容是否存在科室敏感词；如果没有科室敏感词，则拆分所述审核内容，获取拆分后内容；对所述拆分后内容进行AI审核获取审核结果，对医疗健康领域的用户提问内容和医生回答内容进行快速审核，把出现的违规或不雅的内容优先对其进行修改操作，无法修改的则采用删除操作，使得文本内容既符合审核要求，净化网站内容，也减少口语化与不雅的内容展示，使得内容更符合用户的阅读习惯。

技术领域

本申请涉及计算机技术领域，尤其涉及一种实现文本内容安全审核的方法及装置。

背景技术

在健康医疗领域中，问诊平台为医生和患者提供了在线交流的平台，医生和患者在问诊平台中可以通过文字、语音或者视频等方式进行互动交流。

问诊平台接收用户自主提问的问题和医生回答的文字内容，这些文字内容的存在一定的违规风险，需要对内容全部进行审核操作。如果所有的文字内容均采用人工审核则要耗费大量的人力成本，同时在审核过程中可能出现时间过长，使得用户无法及时看到提问的内容或医生的回复，严重影响用户体验，如文字内容为“吗啡片能和其他镇痛药物一起吃吗？”。如果出现上述的分险内容，网监等监管部门发现后会发出警告，如情节严重会关闭网站。

上述的内容中，其中吗啡片是违禁药品，不允许出现相关内容，如出现相关内容需要即时删除。同时，用户均按照自身的语言习惯在平台上进行提问，会在提问过程中增加一些不雅、口语化的内容描述，这些内容均会对普通用户的阅读和医生的查看回复造成一定的困惑，需要对不雅和口语化的内容在不改变用户提问或医生回复意思的基础上实现替换操作。

发明内容

本申请提供了一种实现文本内容安全审核的方法及装置，以解决现有医疗健康领域文本安全审核时间长、误删率高等问题。

第一方面，为实现上述目的，本申请提供了一种实现文本内容安全审核的方法，所述方法包括：

获取审核内容，根据内容ID确定所述审核内容是否有审核记录；

如果所述审核内容的页面正常，没有审核记录则对所述审核内容进行关键词过滤；

如果关键词过滤后，所述审核内容中无敏感词，则确定所述审核内容是否存在科室敏感词；

如果没有科室敏感词，则拆分所述审核内容，获取拆分后内容；

对所述拆分后内容进行AI审核获取审核结果。

进一步地，所述根据内容ID确定所述审核内容是否有审核记录，包括：

确定所述审核内容的页面状态及审核状态。

进一步地，所述审核内容进行关键词过滤，包括：

对所述审核内容进行敏感关键词过滤；

如果有敏感关键词，则标记为高风险和更新审核状态。

如果没有敏感关键词，再进行敏感关键词组合过滤；

如果有敏感关键词组合，则标记为高风险和更新审核状态。

进一步地，所述拆分所述审核内容，获取拆分后内容，包括：

获取审核内容的正文和标题，标记所述标题的序号；

进一步地，对所述拆分后内容进行AI审核获取审核结果之后，还包括：

对所述审核结果进行拼接获取目标文本。

第二方面，为实现上述目的，本申请提供了一种实现文本内容安全审核的装置，所述装置包括：