[发明专利]确定语义上不同的响应以提供作为包括在电子通信中的建议

说明书

与确定候选响应的语义上不同的子集以向用户提供初始呈现作为包括在对电子通信的回复中的建议相关的方法和装置。用户对所提供的响应之一的选择将减少用户必须用于制定回复而做出的用户输入的数目，这可以减少各种客户端设备计算资源的使用和/或对于具有低灵巧性(或者否则在向客户端设备做出用户输入时遇到困难的)的用户特别有益。一些实现基于在神经网络响应编码器模型上生成其中每个基于多个候选响应之一的嵌入来确定候选响应的语义上不同的子集。可以将基于给定候选响应的嵌入与已经为子集选择的候选响应的嵌入进行比较，并且仅当比较指示满足差异标准时才将给定候选响应添加到子集。

背景技术

用户经常被电子通信淹没，电子通信例如是电子邮件、SMS(短消息服务)通信、聊天通信、社交网络通信等。发送给用户的许多电子通信明确地征求回复或否则包括用户可能希望回复的信息。例如，一封包括“你有兴趣吃午饭吗？”的电子邮件可能明确征求回复。一封包括“我刚订婚！”的电子邮件可能没有明确征求回复，但是接收电子邮件的用户可能仍希望发送对该电子邮件的祝贺回复。用户制定对电子通信的回复并使用客户端设备的键盘(例如，智能手机或平板电脑的虚拟键盘)、麦克风和/或其他用户界面输入设备来在客户端设备处输入所制定的回复。

发明内容

在某些情况下，可能需要建议对用户的一个或多个响应以包括在回复电子通信中，该回复电子通信是对发送给用户的电子通信的回复。例如，如果聊天消息“你有兴趣吃午饭吗？”被传送到用户的客户端设备，则可能希望向用户提供可由用户经由客户端设备(例如，通过单击或其他单选输入)选择的响应以包括在回复聊天消息中，该消息响应于所接收的聊天消息。例如，可以基于他们与所接收的聊天消息“你有兴趣吃午饭吗？”的上下文相关性提供诸如“当然，什么时间？”、“谢谢，但我很忙”和“我会回复你”的响应作为建议。用户对所提供的响应之一的选择将减少用户必须用于制定回复的用户输入的数目，这可以减少各种客户端设备计算资源的使用和/或对于具有低灵巧性(或者否则难以向客户端设备做出用户输入)的用户特别有益。

然而，用于生成建议的响应的一些技术可以生成可能潜在地作为建议提供的大量候选响应。由于用户界面约束和/或其他考虑因素，可能不期望和/或不可能提供用于初始呈现给用户的所有这样的候选响应作为建议。因此，可以选择那些候选响应的子集作为建议初始呈现给用户。本文公开的实现寻求以促进子集的响应之间的语义不同的方式来选择这样的子集。

鉴于这些和其他考虑因素，本说明书的一些实现一般涉及与确定候选响应的语义上不同的子集以作为建议向用户提供初始呈现以包括在对电子通信的回复中相关的方法和装置。这些实现中的一些实现基于在响应编码器模型上生成其中每个基于多个候选响应之一的嵌入来确定候选响应的语义上不同的子集。可以将基于给定候选响应的嵌入与已经为子集选择的候选响应的嵌入进行比较，并且仅当比较指示满足差异标准时才将给定候选响应添加到子集。例如，差异标准可以是满足阈值，该阈值指示给定候选响应与已经选择的候选响应之间的足够程度的语义差异。如本文所使用的，“响应编码器模型”是可用于处理令牌序列(例如，包括在响应中)以生成该序列的嵌入的模型。候选响应的令牌可以是包括在候选响应中的文本令牌(例如，单词，短语)或包括在候选响应中的图形令牌(例如，贴纸或表情符号，诸如竖起大拇指的表情符号或笑脸表情符号)。例如，“希望你很快感觉更好”的候选回应包括“希望”、“你”、“感觉”、“更好”和“很快”的文本令牌。另外，例如，“不能等待”的候选响应包括文本令牌“不能”和“等待”和图形令牌“”。候选响应的令牌序列的嵌入是令牌序列的密集表示(即，实值向量)。在各种实现中，响应编码器模型是神经网络模型。

确定并提供用于初始呈现给用户的语义上不同的响应子集作为建议可以增加所提供的响应之一足以传达用户的预期响应的本质的可能性。结果，可以增加用户将选择所提供的响应之一以包括在回复中的可能性。如上所述，选择所提供的响应之一将减少用户必须用于制定回复的用户输入的数目，这可以减少各种客户端设备计算资源的使用和/或对具有低灵巧性(或者在向客户端设备提供用户输入时遇到困难)的用户特别有益。