[发明专利] 基于Flink和RVR的数据流压缩方法、边缘计算系统及存储介质 – CN114095032A 全文链接一   全文链接二

 
基本信息
申请号
CN202111340818.4
申请日
20211112
公开(公告)号
CN114095032A
公开(公告)日
20220225
申请(专利权)人
中国科学院空间应用工程与技术中心
申请人地址
100094 北京市海淀区邓庄南路9号
发明人
施建明 专利类型 发明专利
摘要
本发明涉及工业大数据和人工智能技术领域,公开了一种基于Flink和RVR的数据流压缩方法、边缘计算系统及存储介质,方法包括:从至少一个数据源并行读取数据流,形成输入数据流;将不同数据源的数据流分配在不同的Flink分区窗口中,基于Flink滚动窗口算子形成独立的随窗口推进而不断更新的数据块;每个窗口结束时,触发自定义的窗口函数对窗口中的数据执行数据重排与RVR稀疏化压缩操作,并输出稀疏化的数据流;基于Flink数据汇算子将各数据源稀疏化的数据流并行地写入外部系统。本发明在Flink分布式流式计算框架上,嵌入关联向量回归RVR算法,可实现多数据源数据实时并行压缩,提高数据处理的自动化和智能化水平。
主权项
1.一种基于Flink和RVR的数据流压缩方法,其特征在于,包括:从至少一个数据源并行读取数据流,形成输入数据流;将不同数据源的数据流分配在不同的Flink分区窗口中,基于Flink滚动窗口算子形成独立的随窗口推进而不断更新的数据块;每个窗口结束时,触发自定义的窗口函数对窗口中的数据执行数据重排与RVR稀疏化压缩操作,并输出稀疏化的数据流;基于Flink数据汇算子将各数据源稀疏化的数据流并行地写入外部系统。

 

 
IPC信息
IPC主分类号
H03M7/30
H 电学

H03 基本电子电路

H03M 一般编码、译码或代码转换

H03M7/30 压缩(用于减少冗余的语言分析—合成入G10L19/00;用于图像通信的入H04N);扩展;消除不需要的数据,例如减少冗余〔4〕

 

 
法律状态信息
法律状态公告日
20220225
法律状态
公开 法律状态信息
CN202111340818 20220225 公开 公开

 

 
代理信息
代理机构名称
北京轻创知识产权代理有限公司 11212
代理人姓名
厉洋洋