[发明专利]数据发送方法、装置和存储介质有效
申请号: | 201810298496.3 | 申请日: | 2018-04-03 |
公开(公告)号: | CN108667903B | 公开(公告)日: | 2019-11-12 |
发明(设计)人: | 陈钊 | 申请(专利权)人: | 新华三技术有限公司 |
主分类号: | H04L29/08 | 分类号: | H04L29/08;H04L29/06 |
代理公司: | 北京超凡志成知识产权代理事务所(普通合伙) 11371 | 代理人: | 王宁宁 |
地址: | 310052 浙*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 代理节点 数据发送 服务器 发送 分布式存储 分布式系统 存储节点 存储介质 目标数据 影响数据 | ||
本发明提供了数据发送方法及装置,涉及分布式存储领域。本发明提供的数据发送方法,通过在分布式系统内部的服务器中设置了代理节点,并且由不同服务器间的代理节点进行TCP连接的建立,以及,通过代理节点来将OSD存储节点所要发送的第一目标数据通过与其他代理节点所建立的TCP连接进行发送,在不影响数据发送的情况下,减少了各个服务器之间所建立的TCP连接的数量,降低了CPU的开销。
技术领域
本发明涉及分布式存储领域,具体而言,涉及数据发送方法、装置和存储介质。
背景技术
随着网络数据技术的发展,电子数据的数量呈现出了爆炸式的增长,进而,数据的存储成了首先遇到的问题。为了提高数据的使用便捷程度,以及数据的安全程度,某些情况下,用户通常首选使用分布式系统来进行数据的存储。
分布式系统通常由许多独立的存储节点组成,此处的存储节点的具体体现形式是物理服务器,通常,一个物理服务器上可以同时运行多个存储节点。
为了提高数据的安全性,通常会采用将相同的数据分别存储在不同的服务器中。这也就需要设置在不同服务器中的存储节点之间先进行数据收发,而后,再由接收到数据的存储节点将数据存储在硬盘中。设置在不同服务器中的存储节点之间进行数据收发时,首先需要建立TCP连接,之后,存储节点再利用建立好的TCP连接来进行数据的收发。
一个TCP连接只能在进行数据收发的两个存储节点之间进行建立,随着存储节点数量的增加,为了进行数据传输而建立的TCP连接的数量越来越多,这严重的消耗了服务器的CPU资源和内存资源。
发明内容
本发明的目的在于提供一种数据发送方法和装置。
第一方面,本发明实施例提供了一种数据发送方法,作用于分布式系统中的服务器内所设置的代理节点;分布式系统包括至少三个服务器;每个服务器均包括代理节点、共享内存和多个OSD存储节点;不同服务器中的代理节点之间建立有TCP连接;
该方法包括:
第一代理节点获取目标第二OSD存储节点的标识,以及从第一共享内存中读取第一目标数据;所述第一目标数据是由目标第一OSD存储节点写入到第一共享内存中的;所述目标第二OSD存储节点所在的第二服务器和目标第一OSD存储节点所在的第一服务器是不同的服务器;所述第一共享内存、第一代理节点和目标第一OSD存储节点均位于第一服务器中;
第一代理节点通过与第二服务器中的第二代理节点建立的TCP连接,将第一目标数据和目标第二OSD存储节点的标识向第二代理节点发送,以使第二服务器中的第二代理节点将第一目标数据向目标第二OSD存储节点发送;第二代理节点和目标第二OSD存储节点位于第二服务器中。
结合第一方面,本发明实施例提供了第一方面的第一种可能的实施方式,其中,第一目标数据按照如下方式获取:
第一代理节点从目标第一虚拟队列中获取发送任务,所述发送任务中记载了第一目标数据在第一共享内存中的位置;发送任务是由目标第一OSD存储节点写入到目标第一虚拟队列中的;
第一代理节点根据发送任务从第一共享内存中提取第一目标数据。
结合第一方面,本发明实施例提供了第一方面的第二种可能的实施方式,其中,目标第二OSD存储节点的标识是第一代理节点根据获取到发送任务的目标第一虚拟队列上的标记确定的;目标第一虚拟队列上记录有将目标第二OSD存储节点作为数据接收方的标记。
结合第一方面,本发明实施例提供了第一方面的第三种可能的实施方式,其中,目标第一OSD存储节点只对应了一个第一OSD存储节点;或,目标第一OSD存储节点对应了至少两个第一OSD存储节点;
和/或,目标第二OSD存储节点的标识只对应了一个第二OSD存储节点;或,目标第二OSD存储节点的标识对应了至少两个第二OSD存储节点。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于新华三技术有限公司,未经新华三技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810298496.3/2.html,转载请声明来源钻瓜专利网。
- 上一篇:一种视频传输方法和装置
- 下一篇:一种快速开关型消弧过电压保护装置