一、跨平台数据迁移的研究和实现（论文文献综述）
朱光辉[1]（2020）在《分布式与自动化大数据智能分析算法与编程计算平台》文中研究指明与传统小规模数据场景下的智能化分析应用不同,大数据场景下的智能化分析应用,不再是单一的单机AI算法模型问题,而是大数据、大模型、大计算的融合,需要同时考虑算法模型设计、大数据处理以及高效的分布并行计算问题,这对大数据智能分析基础理论方法与关键技术研究,带来了一系列新的挑战和问题。首先,现实世界大规模数据场景下的复杂数据挖掘与机器学习,存在突出的计算效率问题。大数据动摇了传统计算复杂性理论和方法。在大数据场景下,传统的多项式复杂度算法难以完成大数据、大模型计算问题,因此,需要研究设计大规模数据场景下高效的分布式并行化方法与算法,以此提升大数据智能分析计算效率。然而,高效的分布式数据挖掘和机器学习方法与算法设计,面临一系列复杂的基础理论方法与关键技术问题,不仅需要考虑单机串行算法固有的计算复杂性,还需要考虑并研究解决在分布并行环境下,大数据分布式算法的可并行度、存储、I/O和网络通信等系统复杂性,以及分布式算法性能的深度优化问题。除了计算效率问题外,现有的大数据智能分析技术和平台还存在突出的易用性问题。一方面,现有大数据智能建模方法技术门槛高、大量依赖专家经验,为此,需要研究高效的自动化机器学习（Auto ML）建模方法,以此降低AI建模技术门槛,大幅提升AI建模效率。但Auto ML自动化机器学习面临着搜索与建模方法的有效性、搜索计算效率优化等诸多基础理论方法与难点技术问题。另一方面,如前所述,大数据场景下的智能化分析应用开发,不仅仅是算法模型设计问题,还是一个大数据和大计算问题,这就需要研究解决大数据智能化分析建模与分布并行计算系统交叉融合的关键技术问题,以此构建一个融算法模型设计与大数据编程计算能力于一体的统一大数据智能分析编程计算支撑平台。围绕以上关键科学问题,本文在大数据分布式数据挖掘与机器学习、自动化机器学习以及大数据编程计算方法等基础理论与方法研究基础上,结合算法本身的重要性和技术挑战性以及业界的实际应用需求背景,首先选取了一系列基础常用、复杂性高、计算效率问题突出、且分布式算法设计难度大的数据挖掘与机器学习算法,开展了高效大规模分布式并行化数据挖掘与机器学习方法与算法研究;其次,开展了面向不同任务场景的高效Auto ML自动化机器学习方法与算法研究;最后,在融合分布式数据挖掘与机器学习以及Auto ML自动化机器学习关键技术方法与算法的基础上,研究构建了高效易用的统一大数据智能分析编程计算方法与系统平台,并进行了实际应用验证。具体而言,本文工作包括以下主要研究内容和创新:（1）研究实现了基于属性重排序的大规模分布式函数依赖发现算法。函数依赖是数据挖掘中基础常用的数据结构,但是函数依赖发现任务计算复杂度与内存复杂度高,尤其在大规模数据场景下,算法运行时间和内存开销巨大。为此,本文研究提出了基于属性重排序的大规模分布式函数依赖发现算法Smart FD。在数据预处理阶段,研究提出了一种高效的基于倾斜度和基数的属性重排序方法;在函数依赖发现阶段,研究提出了一种基于快采样早聚合机制的分布式采样方法、基于索引的验证方法以及采样验证自适应切换方法。实验结果表明,与已有算法相比,Smart FD可以实现一到两个数量级的性能提升,且具有良好的数据可扩展性与系统可扩展性。（2）研究实现了基于分布式数据并行的大规模并行化谱聚类算法。谱聚类算法聚类效果优于传统聚类算法,但其存在计算流程复杂、计算复杂度高以及计算耗时长等问题,尤其在大规模数据场景下,计算效率问题更为突出。为此,本文研究提出了基于分布式数据并行模式的大规模并行化谱聚类算法SCo S,实现了谱聚类算法中相似度矩阵构建与稀疏过程并行化、Laplacian矩阵构建与正规化过程并行化、正规化Laplacian矩阵特征向量计算并行化以及k-means聚类并行化。实验结果表明,SCo S算法在大规模数据场景下表现出了良好的数据及系统可扩展性。（3）研究实现了基于子森林均匀划分的分布式任务并行深度森林训练方法与算法。近年来,研究人员提出了可与深度神经网络相媲美的深度森林模型。但已有的深度森林训练算法是单机串行的,计算效率低、可扩展性差,难以满足大数据场景下深度森林训练的应用需求。为此,本文研究提出了基于细粒度子森林均匀划分、任务并行的分布式深度森林训练方法与算法Forest Layer,在提升计算并发度的同时,优化和降低网络通信开销。另外,进一步实现了延迟扫描、预池化以及部分传输三种系统层优化方法。实验结果表明,与已有深度森林训练算法相比,Forest Layer能够实现7到20倍的加速比,并具有近线性的可扩展性及良好的负载均衡。（4）研究实现了面向不同任务场景的Auto ML大数据自动化机器学习方法与算法。首先,针对全流程化大数据分析场景,研究提出了基于强化学习和贝叶斯优化的机器学习流水线自动化设计算法Robo ML,实现交替的流水线结构自动搜索和超参数优化。针对资源受限场景,研究提出了一种基于自适应连续过滤的Auto ML算法BOASF,将Auto ML问题统一抽象为多臂赌博机问题,通过自适应快速过滤以及自适应资源分配等方法加速Auto ML搜索过程。最后,针对终生学习场景的概念漂移问题,研究提出了基于自适应加权集成学习的自动化终生学习算法Auto LLE,集成了全局增量模型和局部集成模型,并基于时间窗口和误差度量自适应调整各模型权重,有效捕捉概念漂移,大幅提高模型的准确性。（5）研究实现了高效的Auto DL大数据自动化深度学习方法与算法。为了提升深度神经网络超参数优化的计算效率,研究提出了一种结合渐进多保真度优化和Successive Halving优化的超参数优化方法Fast HO,通过尽早过滤掉表现较差的超参数配置,并为剩余超参数配置分配更多的资源,从而提升超参数优化的效率。其次,为了提升深度神经网络架构搜索效率,研究提出了基于最小化离散性能偏差的可微分架构搜索算法MGDARTS,通过设计更容易饱和的权重函数以及对超网络每条边的权重之和做整体性约束,尽量减少超网络离散化后的性能损失。实验结果表明,所提出的算法优于现有算法的性能。（6）研究实现了高效易用的统一大数据智能分析编程计算方法与平台。为了有效支持大数据智能化分析应用的开发,在融合上述分布式数据挖掘与机器学习以及Auto ML自动化机器学习关键技术方法与算法的基础上,研究设计并实现了一个支持多计算模式、高效易用的跨平台统一大数据智能分析编程模型与计算平台。首先研究提出了覆盖表模型、矩阵模型、张量模型、图模型、流式数据模型等多种计算模型的跨平台统一大数据智能分析编程计算模型。在此基础上,研究设计了基于计算流图的大数据智能分析编程方法。其次,研究实现了统一大数据智能分析平台集成框架以及跨平台统一的作业调度方法。最后,基于统一大数据智能分析与可视化编程系统平台,进行了实际的应用验证。本文工作发表第一作者研究论文7篇（其中CCF A类期刊/会议论文2篇,B类期刊/会议2篇,中文CCF A类期刊论文1篇）。此外,在Auto ML自动化机器学习方面的研究工作,在Neur IPS、KDD、PAKDD等国际顶级人工智能会议上举办的Auto ML大赛中,共计荣获9项大奖,并在教育部主办的第五届中国“互联网+”大学生创新创业大赛中,荣获全国金奖。另外,大规模分布式数据挖掘与机器学习以及Auto ML自动化机器学习等相关技术研究成果已转让给国内华为、360等多个大型IT企业落地应用。
邹志合,欧阳邦辉,陈志强,谢德衡[2]（2020）在《基于信息平台的异构HIS系统数据迁移方案研究与实践》文中研究表明目的:分析在异构HIS系统切换升级工作中,如何通过数据迁移减少对医院正常业务运营的影响。方法:通过信息平台的数据转换、数据重构和跨平台转科功能实现异构系统数据的迁移。结果:完成了1 600多名在院患者的数据迁移,实现了业务的平稳过渡。结论:基于信息平台的异构HIS系统数据迁移,解决了在院患者业务的连续性问题,降低了信息系统切换对医院管理、患者就医秩序带来的影响。
唐颀伟[3]（2020）在《跨平台统一大数据分析处理与可视化编程平台》文中研究指明随着大数据技术的快速发展,涌现出了针对不同类型任务以及不同大数据编程计算模型的大数据分析系统,例如通用大数据分析系统Hadoop、Spark,图计算系统Graph X、Gemini,流式数据分析系统Storm、Flink等。目前,各类大数据分析处理系统已有上百个,并且新的大数据系统仍然不断产生。种类繁多的大数据系统为大数据应用开发提供了丰富的选择。但是,不同的大数据系统往往具有不同的编程模型和编程框架。由于缺少平台无关的跨平台统一编程模型,无法实现代码“Write Once,Run Anywhere”的特性。另外,大数据分析任务正在变得越来越复杂,单一大数据系统已难以胜任复杂的计算任务。现实中的复杂大数据分析应用通常具有综合性,需要在同一个编程空间内混合使用多个计算模型,这就要求大数据处理系统具备支持多种计算模型以及混合集成使用多个计算平台的能力。而且,大数据系统学习和使用门槛较高,缺乏成熟的可视化编程方法,开发效率较低。为了降低大数据分析的技术门槛,提升大数据分析的效率和易用性,本文研究设计了跨平台统一的大数据分析以及可视化编程方法,并设计实现了原型系统。本文主要的研究工作和贡献点包括:（1）研究提出了覆盖各种大数据计算模型的跨平台统一大数据编程模型和编程框架。支持表模型、矩阵模型、张量模型、图模型等常用的大数据计算模型,通过平台无关的跨平台统一大数据编程模型,允许用户实现跨平台统一的大数据分析处理编程,从而实现“Write Once,Run Anywhere”的跨平台特性。（2）研究实现了基于计算流图的可视化编程方法。在跨平台统一大数据编程模型之上,将各种基本操作和算法组件封装成算子,通过可视化算子拖拽的方式快速构建计算流图,高效实现全流程化的大数据综合分析。（3）研究设计了开放式大数据系统集成框架。允许以兼容并包的方式,高效灵活地集成各种主流的大数据计算平台。同时,也支持用户快速集成运行于特定计算平台的自定义算子。（4）研究实现了基于代价模型的计算平台自动选择方法,自动为计算流图中的算子选择最优的平台,从而提升整个计算流图的运行性能。另外,为了提升跨平台计算效率,研究设计了跨平台统一调度器和跨平台统一数据交换引擎。（5）基于以上关键技术,设计实现了跨平台统一大数据分析处理与可视化编程平台原型系统。系统具备可视化、跨平台、自动调度、开放式等特性,让用户无需代码编程即可高效地构建全流程式的大数据分析处理算法和应用。实验结果表明,本系统能够高效地实现跨平台统一大数据分析以及自动化的计算平台选择,在大幅提高易用性的同时,提升大数据综合分析的整体计算性能。
吴尚宇[4]（2020）在《基于新兴神经架构的跨平台推理加速方法研究》文中提出卷积神经网络（Convolutional Neural Network,CNN）已经被广泛地应用在许多人工智能平台中。但是,由于卷积神经网络的推理过程涉及大量的数据迁移以及复杂的数据计算,它们仍然很少被部署在移动或边缘平台上。新兴的神经架构（Neuromorphic Architecture）旨在结合存内计算技术（Processing In Memory,PIM）来减少数据迁移,它采用三维堆叠的形式将计算资源放置在存储资源的附近以降低数据迁移的开销。这种新兴的神经架构为加速卷积神经网络的推理过程提供了一种有效的解决方案。在这种架构的基础上,卷积神经网络应用能够被高效地部署在移动或边缘平台上。由于新兴神经架构上的资源仍然是有限的,因此加速推理过程的关键就在于如何充分利用神经架构中的计算和存储资源。本文针对在新兴神经架构上推理所涉及到的任务调度、资源分配等问题开展了相关研究工作。首先,本文提出一种基于有限资源推理的任务调度策略—Mobile-I策略。Mobile-I策略旨在结合新兴的神经架构通过软件调度的方法来提高卷积神经网络的推理速度。Mobile-I策略首先抽取卷积神经网络推理过程中涉及的计算任务以及数据依赖关系,并据此构建有向无环图模型。其次Mobile-I策略设计了一个高效快速的初始调度,最后根据卷积神经网络不同任务之间的时间差异来调整初始调度。实验结果显示,相比代表性的方案,在实际的卷积神经网络应用数据上采用Mobile-I策略可以降低40.21%的推理延迟,取得高达96.14%的处理器利用率。其次,本文提出一种面向存内计算架构的资源分配策略—Mobilance策略。Mobilance策略针对神经架构中的计算和存储资源设计了高效的资源分配方案以提高资源的利用率。Mobilance策略首先分别定义了计算和存储资源的分配问题,并证明了它们的最优子结构。其次Mobilance策略分别采用不同的优化模型来解决这两个分配问题,最后结合两个分配结果获得最终的组合调度。实验结果表示,相比代表性的方案,在实际的卷积神经网络应用数据上采用Mobilance策略可以降低25.76%的推理延迟,取得高达95.79%的处理器利用率。本文提出的两种策略有效地提高了卷积神经网络在新兴神经架构上的推理速度,提高了新兴神经架构的资源利用率。本文提出的两种策略能够被应用在多种基于新兴神经架构的移动或边缘设备上,具有良好的可移植性。未来,我们计划将研究能耗问题对移动边缘推理的影响,增加优化的神经网络种类,探索更多的神经架构,以提出更为通用的加速推理策略。
陆乐[5]（2020）在《面向大数据分析的跨平台流式数据迁移系统研究》文中提出随着各个行业数据量爆炸式的增长,信息技术已进入大数据时代。由于大数据分析应用问题种类繁多,大数据计算模式呈现出多样化的特点,包括数据转换、查询分析、机器学习、图计算等。同时,现实世界中一个复杂的行业大数据分析应用具有综合性计算的特点,需要同时混合使用多种计算模式。然而,没有任何一个大数据计算平台能够很好地支持所有的计算模式,每个大数据计算平台具有各自的适用场景以及适用计算模式。因此,为了满足综合性大数据分析应用的需求,往往需要在同一个分析应用中混合使用多个不同的大数据计算平台,从而实现跨平台的数据分析。近年来,跨平台的数据分析得到了越来越多的关注,与此同时,实现高效的跨平台数据迁移也成为了亟待解决的问题。一方面,为了实现跨平台数据迁移的高效性,数据迁移系统需要支持统一数据交换格式和流式数据迁移。另一方面,为了能够高效地支持大数据分布式并行计算,数据迁移系统也应当采用分布式架构设计,并支持分布式并行计算场景下的负载均衡和数据容错。然而,现有的数据迁移工作还不能完全满足这些要求。针对上述应用需求和问题背景,本文研究设计了面向大数据分析的跨平台分布式的流式数据迁移系统Crossroad,能够同时满足上述的数据迁移要求。本文的主要研究工作和贡献点如下:（1）在分析数据交换格式对跨平台数据迁移性能影响的基础上,研究使用高效的统一数据交换格式,降低跨平台迁移时的数据格式转换开销。（2）研究提出一种基于文件队列的流式数据迁移方法,该方法可以以流水线的方式同时实现数据导出和导入,不仅提高了数据迁移效率,同时也解决了数据容错的问题。（3）研究解决分布式场景下实现流式数据迁移面临的基本问题,包括实现数据流高效转发的路由机制、支持负载均衡的数据shuffle机制以及文件队列中Batch的动态调整机制。（4）在上述关键技术研究基础上,设计实现跨平台流式数据迁移原型系统Crossroad。Crossroad使用主从式的分布式架构以支撑分布式场景下的数据迁移。实验结果表明,Crossroad能够有效降低跨平台数据迁移的时间开销,显着提高大数据混合分析计算的效率。
张仪[6]（2020）在《跨平台统一大数据智能化SQL查询系统研究与实现》文中研究表明近年来,随着各行各业对大数据分析处理应用需求的不断增长,大数据查询系统逐步向多样化方向发展。这些数据查询系统在查询语言、计算模型、系统架构与底层存储技术等方面各有特点,适用于不同垂直应用场景,因此现代企业或组织为了处理多样化业务,通常会构建多种不同的数据查询系统。然而,很多综合性业务需要能进行便捷、高效的跨平台数据查询,例如,同一个机构跨部门之间的数据统一分析业务就有这种需求。因此,如何充分利用不同计算平台的特性完成高效便捷的跨平台数据查询已成为当前学术界与工业界的研究热点。现有工作在模型结构与查询性能方面都存在一定不足,难以满足复杂的跨平台数据查询实际应用需求。针对现有工作的不足,本文研究提出了一种跨平台统一SQL查询模型及其性能优化方法,并在此基础上设计实现了一个跨平台统一大数据智能化SQL查询系统Coral。本文主要的研究内容与贡献点包括:（1）提出了跨平台的统一SQL查询模型。首先,模型提供统一的查询语言,能够表达查询的跨平台特性,支持对不同平台上的表进行连接（Join）操作。在此基础上,模型拓展了查询语句的关系代数形式,使查询优化能够生成和执行平台相关的执行计划。最终,模型通过跨平台调度器实现了执行计划的跨平台自动调度,整个跨平台查询过程对用户完全透明。（2）设计了规则驱动和数据驱动相结合的混合式跨平台查询优化器。系统内部包含两种针对不同查询场景的优化器。其中,基于级联机制（Cascades）的优化器将数据源之间的转化以经验规则的方式集成进Cascades优化器中,在保持Cascades优化器优点的基础上实现跨平台查询优化,以减少数据迁移和查询执行开销;基于深度Q网络（Deep Q Network,DQN）的跨平台查询优化器使用机器学习技术生成数据集自适应（Dataset-specific）的连接搜索策略,在给定成本模型和搜索空间时,该优化器可以针对特定数据集在所有可能Join plan中优化搜索过程,并根据以前的计划实例结果学习特定的搜索策略,从而显着减少执行计划的搜索时间,提升优化效果。（3）设计了基于查询历史与查询代价分析的子查询缓存模型。该模型根据查询历史和查询代价选择合适的子查询结果持久化到合适的底层平台,并通过缓存匹配和复用算法替换匹配的子查询,从而减少重复的迁移与计算开销,优化跨平台数据查询的性能。（4）基于上述提出的查询模型框架与性能优化方法,本文设计实现了一个高效的跨平台统一大数据智能化SQL查询系统Coral。该系统集成了Mem SQL、Clickhouse与Postgre SQL三个不同特点的主流数据库。Coral为用户提供统一的跨平台查询语言,内置多种跨平台查询优化器,并通过代码生成（Codegen）技术提升执行性能,能够自动、高效地执行用户提交的跨平台查询请求。Coral还为用户提供了良好的配置和访问接口,方便用户部署和使用。（5）通过实验对本文提出的跨平台查询系统Coral及其相关优化技术进行性能评估分析。实验表明,本文提出的混合式跨平台查询优化器通过结合传统优化器和数据集自适应的优化器,能够有效减少生成执行计划的时间,提升执行计划的效率;缓存模型在子查询重复访问的情况下效果明显;与主流跨平台查询系统Mu SQLE和Sloth相比,本文提出的Coral在跨平台查询上取得了更好的性能,相比于Mu SQLE平均达到5.03倍加速比,相比于Sloth平均达到2.04倍加速比。
赵亚强,王永伦,葛利军[7]（2019）在《关于大数据时代数据迁移关键技术的研究》文中认为由于各行各业信息数据的复杂性和多维度,致使数据迁移成为信息系统更新的难点。随着大数据和云计算的发展,云平台数据中心已经成为各行各业信息系统的必须选择,不仅避免了资源的浪费,也很大程度上减轻了未来的数据迁移工作,为未来智能化、智慧化建设奠定了基础了。
孙嘉冬[8]（2019）在《交管信息系统分布式数据迁移研究与实现》文中研究说明随着交管信息系统数据量增长,亟需从Oracle数据库切换到分布式数据库,切换过程中首先面临的是历史数据的迁移。由于系统允许的停机升级时间较短,待迁移的数据量大,主要面临以下两个问题:一是海量异构数据,历史数据和实时数据都要迁移,传统的迁移方案脚本执行失败高、传输时间非常长;二是数据安全性、一致性无法保障,数据传输时数据容易丢失,传输文件未加密。针对以上问题,本文提出了一种实现跨平台,整合异构数据的大数据在线迁移方法,主要研究内容有以下几点:首先,针对异构数据源之间数据迁移时结构转换复杂,本文设计开发了一个支持读取原数据库对象,自动生成对应分布式数据库对象的结构迁移子系统。然后针对非结构数据文件大、占用带宽大导致传输慢的问题,本文通过研究和设计一套压缩算法,对文件进行压缩,压缩后的文件减少了网络带宽提高传输效率;设计开发了实时数据迁移程序,实现了历史数据迁移的同时,增量数据也能同步迁移,保证数据的完整性。其次是针对数据传输过程中数据易丢失,数据易篡改的问题本文设计开发了数据加密功能,通过对文件、数据、字段进行MD5加密,确保数据传输过程中不丢失和不被篡改。然后针对传统数据迁移时无法追踪当前迁移进展,以及无法确定传输前后总量是否一致的问题,本文设计开发了迁移进展跟踪程序,通过计算传输的数据总量和传输速度和预计完成时间,提高了对数据迁移的进度把控。最后,完成了整个迁移系统的设计、编码实现与测试,并且开展Oracle数据库与分布式数据库的数据一致性验证。成功验证分布式数据库的数据一致性和准确性。通过本文研究,实现了短时间内迁移海量异构数据到大数据分布式系统,并保证了数据的一致性,研究成果已在广东省交管信息系统成功试运行并验证了可行性,研究内容可为剩余全国省份的分布式数据迁移提供借鉴,以及其他类似系统进行数据迁移提供参考。
王永超,鲁鸣鸣[9]（2018）在《面向金融行业的大数据迁移的研究与实现》文中研究表明现有的金融行业的数据管理模式主要依赖于传统关系型数据库,然而传统架构受到拓展能力和存储性能的限制,难以满足大数据时代快速增长的海量数据量处理的需要。针对金融数据规模大、跨地域、跨系统存储、数据多样化等特点,提出了HiETL大数据迁移管理平台,实现了异构关系型数据库业务系统向Hadoop大数据平台的统一迁移,以及海量数据的集中整合、拓展存储、高效分析查询等一站式管理平台,在保证迁移准确的情况下,其速度可达到3 MB/s。
王林童[10]（2018）在《面向配用电应用的大数据集成、存储及处理方法研究》文中研究说明随着智能配电网的不断发展以及智能化电力设备的广泛应用,配用电数据开始急剧增长。一方面,这些数据不仅来源于生产管理系统、负荷控制与管理系统、用电信息采集系统、营销业务管理系统等配电网内部系统,也包括了地理信息、社会经济、气象环境等外部相关系统数据,数据总体呈现出体量大、类型多、增长快的大数据特征。另一方面,随着负荷预测、配电网网架优化、错峰调度、节电分析等配用电相关应用向智能化、精益化方向发展,如何利用大数据技术提升配用电相关应用的精度、广度及深度成为电力行业新的挑战和机遇。通过对配用电大数据的多源集成、存储优化、关联查询及并行处理等问题进行研究,不仅能够实现配用电数据快速获取和共享,而且能够提高数据分析和数据挖掘的效率,为基于配用电大数据的相关应用提供更高效的技术支持。面对来源广、类型多、异构化的配用电大数据,本文根据各数据系统的特点,选择与之相适应的数据交互通信方式,实现配用电多源数据的跨平台迁移。针对配用电大数据多源集成过程中的异构化问题,通过生成标准化元数据并构建相应数据字典的方法,实现数据的规范化集成。在数据集成的基础上,针对配用电大数据高效存储和快速查询两方面核心问题,本文根据配用电相关应用对于多源数据关联分析的需求,基于Hadoop研究大数据存储优化方法,提出计及配用电数据关联性的哈希分桶存储算法,以实现相关联数据的集中存储,从而提升后期数据查询及处理的效率。在数据存储优化的基础上,进一步实现基于MapReduce的多源配用电大数据并行关联查询。通过在Hadoop集群上进行测试说明对经过哈希分桶存储优化后的多源数据进行并行关联查询的高效性。大数据环境下的配用电数据格式转换、异常数据辨识、数据清洗等处理环节大多需要复杂的迭代计算,而后期应用对于数据处理的效率有较高的要求。针对具有半结构化及非结构化特点的配电网拓扑数据难以被直接应用的问题,本文利用Spark的并行化内存计算等技术实现大规模配电网拓扑数据的高效解析。考虑到海量负荷数据中存在的数据缺失、波动幅度过大等异常情况将影响后期负荷时空分布预测、网架优化等应用的准确性,提出基于Spark技术的并行化FCM算法,并应用于负荷异常数据辨识及修正。通过在Spark实验环境中测试说明本文方法能够高效准确地辨识及修正负荷异常数据。以负荷时空分布预测应用为例,利用本文所提出的方法对应用所需数据进行多源集成、存储优化、关联查询及并行处理,以说明本文方法的有效性。
二、跨平台数据迁移的研究和实现（论文开题报告）
（1）论文研究背景及目的
此处内容要求：
首先简单简介论文所研究问题的基本概念和背景，再而简单明了地指出论文所要研究解决的具体问题，并提出你的论文准备的观点或解决方法。
写法范例：
本文主要提出一款精简64位RISC处理器存储管理单元结构并详细分析其设计过程。在该MMU结构中,TLB采用叁个分离的TLB,TLB采用基于内容查找的相联存储器并行查找,支持粗粒度为64KB和细粒度为4KB两种页面大小,采用多级分层页表结构映射地址空间,并详细论述了四级页表转换过程,TLB结构组织等。该MMU结构将作为该处理器存储系统实现的一个重要组成部分。
（2）本文研究方法
调查法：该方法是有目的、有系统的搜集有关研究对象的具体信息。
观察法：用自己的感官和辅助工具直接观察研究对象从而得到有关信息。
实验法：通过主支变革、控制研究对象来发现与确认事物间的因果关系。
文献研究法：通过调查文献来获得资料，从而全面的、正确的了解掌握研究方法。
实证研究法：依据现有的科学理论和实践的需要提出设计。
定性分析法：对研究对象进行“质”的方面的研究，这个方法需要计算的数据较少。
定量分析法：通过具体的数字，使人们对研究对象的认识进一步精确化。
跨学科研究法：运用多学科的理论、方法和成果从整体上对某一课题进行研究。
功能分析法：这是社会科学用来分析社会现象的一种方法，从某一功能出发研究多个方面的影响。
模拟法：通过创设一个与原型相似的模型来间接研究原型某种特性的一种形容方法。
三、跨平台数据迁移的研究和实现（论文提纲范文）
（1）分布式与自动化大数据智能分析算法与编程计算平台（论文提纲范文）
| 摘要 |
| ABSTRACT |
| 第一章 绪论 |
| 1.1 研究背景与概况 |
| 1.1.1 研究背景与基本问题 |
| 1.1.2 难点技术与关键科学问题 |
| 1.1.3 国内外发展概况 |
| 1.2 国内外研究现状与趋势 |
| 1.2.1 大数据分析挖掘和机器学习并行化算法 |
| 1.2.2 大数据自动化机器学习技术 |
| 1.2.3 大数据智能分析编程计算方法与平台 |
| 1.3 现有研究工作和技术存在的不足 |
| 1.4 本文组织架构 |
| 1.5 本文的研究内容和主要工作 |
| 1.5.1 总体研究目标与研究内容 |
| 1.5.2 本文主要研究内容 |
| 第二章 高效的大规模分布式函数依赖发现算法 |
| 2.1 研究背景与问题 |
| 2.2 背景知识与相关工作 |
| 2.2.1 函数依赖基本定义 |
| 2.2.2 基于采样-验证的函数依赖发现 |
| 2.2.3 已有函数依赖发现算法 |
| 2.3 基于属性重排序的算法框架 |
| 2.4 数据预处理 |
| 2.4.1 属性信息统计 |
| 2.4.2 属性重排序 |
| 2.4.3 记录编码 |
| 2.5 AFDD算法 |
| 2.5.1 总体流程 |
| 2.5.2 分布式成对采样 |
| 2.5.3 属性并行的剪枝-生成 |
| 2.5.4 分布式基于索引的验证 |
| 2.5.5 自适应的采样-验证切换 |
| 2.5.6 复杂度分析 |
| 2.6 Batch AFDD算法 |
| 2.7 性能评估 |
| 2.7.1 实验环境 |
| 2.7.2 性能比较 |
| 2.7.3 扩展性评估 |
| 2.7.4 属性重排序评估 |
| 2.7.5 分布式探测评估 |
| 2.8 本章小结 |
| 第三章 高效的大规模分布式并行化谱聚类算法 |
| 3.1 研究背景与问题 |
| 3.2 背景知识与相关工作 |
| 3.2.1 谱聚类算法基本原理 |
| 3.2.2 样本间相似性度量方法 |
| 3.2.3 谱聚类算法主要流程 |
| 3.3 相似度矩阵构建及稀疏化并行化 |
| 3.3.1 相似度并行计算 |
| 3.3.2 相似度矩阵稀疏化 |
| 3.4 Laplacian矩阵构建及正规化并行化 |
| 3.4.1 Laplacian矩阵构建 |
| 3.4.2 Laplacian矩阵正规化 |
| 3.5 特征向量计算并行化 |
| 3.5.1 精确特征向量并行化求解 |
| 3.5.2 近似特征向量并行化求解 |
| 3.6 k-means聚类并行化 |
| 3.6.1 k-means聚类算法描述 |
| 3.6.2 k-means聚类并行化 |
| 3.6.3 距离计算优化 |
| 3.7 性能评估 |
| 3.7.1 实验环境及数据 |
| 3.7.2 聚类效果评估 |
| 3.7.3 算法性能评估 |
| 3.7.4 数据可扩展性评估 |
| 3.7.5 节点可扩展性评估 |
| 3.8 本章小结 |
| 第四章 高效的分布式深度森林训练方法与算法 |
| 4.1 研究背景与问题 |
| 4.2 背景知识与相关工作 |
| 4.2.1 深度森林 |
| 4.2.2 Ray |
| 4.2.3 多层表征学习 |
| 4.2.4 机器学习框架与声明式编程模型 |
| 4.3 基于子森林划分的任务并行训练算法 |
| 4.3.1 设计动机 |
| 4.3.2 划分和合并 |
| 4.3.3 复杂度分析 |
| 4.4 系统设计与优化 |
| 4.4.1 系统概述 |
| 4.4.2 高层编程API |
| 4.4.3 系统层优化 |
| 4.5 性能评估 |
| 4.5.1 实验环境及数据 |
| 4.5.2 模型配置 |
| 4.5.3 性能对比 |
| 4.5.4 扩展性评估 |
| 4.5.5 负载均衡评估 |
| 4.5.6 系统层优化评估 |
| 4.5.7 划分粒度分析 |
| 4.6 本章小结 |
| 第五章 大数据AutoML自动化机器学习方法与算法 |
| 5.1 研究背景与内容概述 |
| 5.2 相关工作 |
| 5.3 基于强化学习和贝叶斯优化的机器学习流水线自动化设计 |
| 5.3.1 研究背景与问题 |
| 5.3.2 基于强化学习的结构搜索 |
| 5.3.3 基于贝叶斯优化的算法超参优化 |
| 5.3.4 分布式并行的流水线设计 |
| 5.3.5 性能评估 |
| 5.3.6 小结 |
| 5.4 资源受限场景下基于自适应连续过滤的自动化机器学习 |
| 5.4.1 研究背景与问题 |
| 5.4.2 自适应连续过滤算法BOASF |
| 5.4.3 基于BOASF的模型选择 |
| 5.4.4 基于BOASF的超参数优化 |
| 5.4.5 性能评估 |
| 5.4.6 小结 |
| 5.5 终生学习场景下基于加权集成的自动化机器学习 |
| 5.5.1 研究背景与问题 |
| 5.5.2 自动化终生学习问题定义 |
| 5.5.3 基于加权集成学习的算法框架 |
| 5.5.4 针对概念漂移的自适应权重设计 |
| 5.5.5 性能评估 |
| 5.5.6 小结 |
| 5.6 本章小结 |
| 第六章 大数据AutoDL自动化深度学习方法与算法 |
| 6.1 研究背景与内容概述 |
| 6.2 相关工作 |
| 6.3 基于渐进式多保真度评估的超参数优化 |
| 6.3.1 研究背景与问题 |
| 6.3.2 低保真度评估偏差 |
| 6.3.3 渐进式多保真度评估 |
| 6.3.4 贝叶斯模型构建及其热启动 |
| 6.3.5 性能评估 |
| 6.3.6 小结 |
| 6.4 最小化离散性能偏差的可微分网络架构搜索 |
| 6.4.1 研究背景与问题 |
| 6.4.2 可微分的网络架构搜索 |
| 6.4.3 最小化离散性能偏差 |
| 6.4.4 随机固定规约单元的架构搜索 |
| 6.4.5 性能评估 |
| 6.4.6 小结 |
| 6.5 本章小结 |
| 第七章 统一大数据智能分析编程计算方法与平台 |
| 7.1 研究背景与问题 |
| 7.2 相关工作 |
| 7.3 跨平台统一大数据智能分析编程计算模型与方法 |
| 7.3.1 跨平台统一大数据智能分析编程计算模型 |
| 7.3.2 基于计算流图的大数据智能分析编程方法 |
| 7.4 统一大数据智能分析平台集成与调度优化 |
| 7.4.1 统一大数据智能分析平台集成框架 |
| 7.4.2 跨平台统一调度优化 |
| 7.5 统一大数据智能分析算法集成与自动化机器学习建模 |
| 7.5.1 统一大数据智能分析算法集成框架 |
| 7.5.2 自动化机器学习建模工具平台 |
| 7.6 统一大数据智能分析与可视化编程原型系统设计与实现 |
| 7.6.1 系统总体架构 |
| 7.6.2 系统主要功能与模块设计实现 |
| 7.6.3 系统基本操作使用与大数据智能分析示例 |
| 7.6.4 系统技术特征总结 |
| 7.7 关键技术应用验证 |
| 7.7.1 分布式数据挖掘与机器学习算法应用验证 |
| 7.7.2 AutoML自动化机器学习算法应用验证 |
| 7.8 本章小结 |
| 第八章 总结与展望 |
| 8.1 工作总结 |
| 8.2 进一步的工作与研究展望 |
| 参考文献 |
| 致谢 |
| 攻读博士期间已发表论文列表 |
| 攻读博士期间参研项目列表 |
| 攻读博士期间获奖情况列表 |
| 攻读博士期间学术服务列表 |
| 应用成果证明 |
（2）基于信息平台的异构HIS系统数据迁移方案研究与实践（论文提纲范文）
| 1 背景 |
| 2 需求分析 |
| 3 系统切换数据迁移方案 |
| 3.1基础数据准备 |
| 3.2数据转换迁移 |
| 4 总结 |
（3）跨平台统一大数据分析处理与可视化编程平台（论文提纲范文）
| 摘要 |
| abstract |
| 第一章 绪论 |
| 1.1 研究背景 |
| 1.2 国内外研究现状与不足 |
| 1.3 本文主要研究工作 |
| 1.4 本文组织结构 |
| 第二章 相关背景知识 |
| 2.1 相关工作 |
| 2.1.1 跨平台大数据分析系统 |
| 2.1.2 可视化机器学习建模系统 |
| 2.2 相关背景系统介绍 |
| 2.2.1 Apache Spark简介 |
| 2.2.2 Spark Jobserver简介 |
| 2.2.3 Sklearn简介 |
| 2.2.4 Tensorflow简介 |
| 2.2.5 HDFS简介 |
| 2.3 本章小结 |
| 第三章 跨平台统一编程模型与框架 |
| 3.1 跨平台统一编程模型与框架 |
| 3.2 计算流图的表示与实现 |
| 3.3 全流程化大数据分析编程方法与框架 |
| 3.4 本章小结 |
| 第四章 开放式大数据系统集成框架 |
| 4.1 计算平台的集成框架 |
| 4.1.1 统一计算平台集成接口 |
| 4.1.2 通信协议层 |
| 4.1.3 计算平台服务端 |
| 4.2 用户自定义算子的集成 |
| 4.3 本章小结 |
| 第五章 跨平台统一调度与优化 |
| 5.1 跨平台统一调度与优化整体框架 |
| 5.2 平台选择优化器 |
| 5.2.1 不同平台上算子的执行性能对比 |
| 5.2.2 代价学习器 |
| 5.2.3 基于代价模型的平台选择算法 |
| 5.3 跨平台统一调度器 |
| 5.3.1 作业调度器 |
| 5.3.2 任务调度器 |
| 5.3.3 平台调度器 |
| 5.4 跨平台统一数据交换引擎 |
| 5.4.1 数据模型 |
| 5.4.2 存储模型 |
| 5.4.3 跨平台数据管理 |
| 5.5 本章小结 |
| 第六章 大数据分析可视化编程方法与系统实现 |
| 6.1 跨平台统一大数据分析可视化编程系统特性 |
| 6.2 系统设计与实现 |
| 6.2.1 系统整体框架 |
| 6.2.2 数据源管理和模型管理框架 |
| 6.2.3 计算流图管理与运行框架和实现 |
| 6.3 可视化编程工具的设计与实现 |
| 6.3.1 系统功能介绍 |
| 6.3.2 计算流图搭建操作示例 |
| 6.3.3 可视化编程工具的实现 |
| 6.3.4 系统部署方式 |
| 6.4 本章小结 |
| 第七章 实验与分析 |
| 7.1 实验环境配置 |
| 7.2 数据本地性优化实验 |
| 7.3 自动平台选择算法实验 |
| 7.3.1 代价学习器效果实验 |
| 7.3.2 基于代价模型的平台选择算法实验 |
| 7.4 多平台选择优化性能实验 |
| 7.5 单平台选择优化性能实验 |
| 7.6 已有系统性能对比实验 |
| 7.7 本章小结 |
| 第八章 总结与展望 |
| 8.1 工作总结 |
| 8.2 进一步工作 |
| 参考文献 |
| 致谢 |
| 附录 |
（4）基于新兴神经架构的跨平台推理加速方法研究（论文提纲范文）
| 摘要 |
| Abstract |
| 第1章 绪论 |
| 1.1 研究背景 |
| 1.2 国内外研究现状 |
| 1.3 本文主要研究内容与创新点 |
| 1.4 本文的组织结构 |
| 第2章 神经架构和有向无环图模型 |
| 2.1 基于存内计算的神经架构 |
| 2.2 卷积神经网络 |
| 2.3 有向无环图模型 |
| 2.4 本章小结 |
| 第3章 基于有限资源推理的任务调度策略 |
| 3.1 研究背景 |
| 3.2 Mobile-I任务调度策略概述 |
| 3.3 初始调度的生成方法 |
| 3.3.1 周期调度的生成方法 |
| 3.3.2 数据依赖的维护方法 |
| 3.4 初始调度的调整方法 |
| 3.4.1 三种不同情况下的调整策略 |
| 3.4.2 以关键任务优先的调整顺序 |
| 3.5 实验结果评估 |
| 3.5.1 实验环境 |
| 3.5.2 处理延迟 |
| 3.5.3 前序时间 |
| 3.5.4 处理单元利用率 |
| 3.6 本章小结 |
| 第4章 面向存内计算架构的资源分配策略 |
| 4.1 研究背景 |
| 4.2 Mobilance资源分配策略概述 |
| 4.3 计算资源分配策略 |
| 4.3.1 计算资源分配问题的定义 |
| 4.3.2 基于贪心策略的计算资源分配 |
| 4.4 存储资源分配策略 |
| 4.4.1 存储资源分配问题的定义 |
| 4.4.2 基于动态规划的存储资源分配 |
| 4.5 实验结果评估 |
| 4.5.1 实验环境 |
| 4.5.2 处理延迟 |
| 4.5.3 前序时间 |
| 4.5.4 处理单元利用率 |
| 4.5.5 高速缓存效率 |
| 4.5.6 程序运行时间 |
| 4.6 本章小结 |
| 第5章 总结与展望 |
| 5.1 总结 |
| 5.2 展望 |
| 参考文献 |
| 指导教师对研究生学位论文的学术评价 |
| 学位论文答辩委员会决议书 |
| 致谢 |
| 攻读硕士学位期间的研究成果 |
（5）面向大数据分析的跨平台流式数据迁移系统研究（论文提纲范文）
| 摘要 |
| 英文摘要 |
| 第一章 绪论 |
| 1.1 研究背景 |
| 1.2 现有相关工作及其不足 |
| 1.2.1 非流式数据迁移工作 |
| 1.2.2 流式数据迁移工作 |
| 1.2.3 现有工作用于数据迁移的不足 |
| 1.3 本文的研究内容 |
| 1.4 相关系统简介 |
| 1.4.1 HDFS简介 |
| 1.4.2 Pandas简介 |
| 1.4.3 Apache Spark简介 |
| 1.4.4 Apache Giraph简介 |
| 1.4.5 Apache Arrow简介 |
| 1.5 本文的组织结构 |
| 第二章 统一数据交换格式与跨平台流式数据迁移 |
| 2.1 统一数据交换格式 |
| 2.1.1 数据格式选择 |
| 2.1.2 类型映射 |
| 2.2 基于文件队列的流式数据迁移 |
| 2.2.1 性能分析 |
| 2.2.2 数据迁移原理 |
| 2.3 路由机制 |
| 2.3.1 流分割 |
| 2.3.2 流合并 |
| 2.4 负载均衡 |
| 2.4.1 all-to-all的 shuffle策略 |
| 2.4.2 part-to-part的 shuffle策略 |
| 2.4.3 非对称的shuffle策略 |
| 2.4.4 小结 |
| 2.5 Batch动态调整 |
| 2.6 本章小结 |
| 第三章 分布式流式数据迁移系统设计与实现 |
| 3.1 系统架构 |
| 3.1.1 Master |
| 3.1.2 Worker |
| 3.1.3 Client |
| 3.2 数据迁移作业定义与系统接口 |
| 3.2.1 数据迁移作业定义 |
| 3.2.2 迁移系统接口 |
| 3.3 数据迁移执行机制 |
| 3.3.1 数据迁移作业执行流程 |
| 3.3.2 传输流建立 |
| 3.3.3 通信信道复用 |
| 3.4 系统容错 |
| 3.5 本章小结 |
| 第四章 大数据计算平台与分布式数据迁移系统的集成 |
| 4.1 Spark与迁移系统的集成 |
| 4.1.1 Spark的 IO原理 |
| 4.1.2 Spark与迁移系统的集成实现 |
| 4.2 Giraph与迁移系统的集成 |
| 4.2.1 Giraph的 IO原理 |
| 4.2.2 Giraph与迁移系统的集成实现 |
| 4.3 Pandas与迁移系统的集成 |
| 4.4 本章小结 |
| 第五章 性能评估与分析 |
| 5.1 实验环境配置 |
| 5.2 迁移性能测试方法及指标 |
| 5.3 数据迁移实验与性能分析 |
| 5.3.1 Spark与 Pandas之间的数据迁移实验 |
| 5.3.2 Spark与 Giraph之间的数据迁移实验 |
| 5.3.3 性能分析 |
| 5.4 shuffle机制实验 |
| 5.4.1 导出流的数据量相同 |
| 5.4.2 导出流的数据量不同 |
| 5.5 Batch动态调整实验 |
| 5.6 数据迁移案例实验 |
| 5.7 本章小结 |
| 第六章 总结与展望 |
| 6.1 工作总结 |
| 6.2 进一步工作 |
| 参考文献 |
| 致谢 |
| 附录 |
（6）跨平台统一大数据智能化SQL查询系统研究与实现（论文提纲范文）
| 摘要 |
| abstract |
| 第一章 绪论 |
| 1.1 研究背景 |
| 1.2 国内外研究现状 |
| 1.3 现有工作的不足 |
| 1.4 本文的研究内容 |
| 1.5 本文的组织结构 |
| 第二章 相关背景知识 |
| 2.1 SQL查询模型 |
| 2.2 SQL查询优化 |
| 2.2.1 查询优化的基本原理 |
| 2.2.2 基础查询优化算法 |
| 2.2.3 经典查询优化器 |
| 2.3 相关系统平台简介 |
| 2.3.1 Apache Calcite动态数据管理框架 |
| 2.3.2 Mem SQL内存数据库 |
| 2.3.3 Postgre SQL对象关系数据库 |
| 2.3.4 Clickhouse列存储数据库 |
| 2.4 本章小结 |
| 第三章 跨平台统一SQL查询模型 |
| 3.1 统一查询模型框架 |
| 3.2 统一元数据接口 |
| 3.3 跨平台查询示例 |
| 3.4 本章小结 |
| 第四章 跨平台查询优化与混合调度 |
| 4.1 问题描述与分析 |
| 4.1.1 单优化器的不足 |
| 4.1.2 跨平台查询优化问题分析 |
| 4.2 混合优化器自动调度 |
| 4.2.1 输入输出转换 |
| 4.2.2 优化器调度算法 |
| 4.3 跨平台查询优化器设计 |
| 4.3.1 查询优化总体流程 |
| 4.3.2 基于级联机制的优化器 |
| 4.3.3 基于深度Q网络的优化器 |
| 4.4 本章小结 |
| 第五章 基于强化学习的数据集自适应查询优化 |
| 5.1 问题描述与分析 |
| 5.1.1 背景介绍 |
| 5.1.2 问题抽象 |
| 5.1.3 解决方案 |
| 5.2 优化器架构 |
| 5.2.1 数据结构 |
| 5.2.2 主要模块及接口 |
| 5.3 Q-Learning模型实现 |
| 5.3.1 查询特征化 |
| 5.3.2 模型训练 |
| 5.3.3 执行优化 |
| 5.4 本章小结 |
| 第六章 跨平台统一SQL查询系统设计与实现 |
| 6.1 系统总体框架 |
| 6.2 基于级联机制的优化器实现 |
| 6.2.1 问题背景 |
| 6.2.2 等价集合设计 |
| 6.2.3 跨平台属性及其转换规则设计 |
| 6.2.4 规则重要性计算 |
| 6.3 基于Codegen的执行优化 |
| 6.4 跨平台数据缓存的实现 |
| 6.4.1 缓存存储和替换算法 |
| 6.4.2 缓存匹配和复用算法 |
| 6.5 用户层接口 |
| 6.6 本章小结 |
| 第七章 性能评估与分析 |
| 7.1 实验数据和实验环境 |
| 7.2 性能优化效果评估与分析 |
| 7.2.1 跨平台查询优化效果评估 |
| 7.2.2 跨平台优化开销评估 |
| 7.2.3 混合优化器效果评估 |
| 7.3 缓存效果评估与分析 |
| 7.4 与主流系统的试验对比和结果分析 |
| 7.4.1 对比系统介绍 |
| 7.4.2 查询性能对比 |
| 7.5 本章小结 |
| 第八章 总结与展望 |
| 8.1 本文工作总结 |
| 8.2 进一步工作 |
| 参考文献 |
| 致谢 |
| 附录 |
（8）交管信息系统分布式数据迁移研究与实现（论文提纲范文）
| 摘要 |
| abstract |
| 第一章 绪论 |
| 1.1 研究背景和意义 |
| 1.2 研究现状分析 |
| 1.2.1 国内研究现状 |
| 1.2.2 国外研究现状 |
| 1.3 本文研究内容和创新点 |
| 1.4 论文的组织结构 |
| 第二章 数据迁移技术概述 |
| 2.1 同构数据迁移 |
| 2.2 分布式数据迁移 |
| 2.3 实时分布式数据迁移 |
| 2.4 数据迁移方法比较 |
| 2.5 本章小结 |
| 第三章 分布式数据迁移的总体架构与功能设计 |
| 3.1 交管数据迁移的计算机问题 |
| 3.1.1 数据复杂、体量巨大 |
| 3.1.2 系统改造困难 |
| 3.1.3 数据安全要求高 |
| 3.2 数据迁移方案总体设计 |
| 3.2.1 总体架构设计 |
| 3.2.2 流程设计 |
| 3.3 数据迁移功能设计 |
| 3.3.1 结构迁移功能 |
| 3.3.2 历史数据迁移功能 |
| 3.3.3 实时数据迁移功能 |
| 3.4 本章小结 |
| 第四章 分布式数据迁移的功能实现 |
| 4.1 数据迁移功能实现 |
| 4.1.1 结构迁移子系统 |
| 4.1.2 文件压缩与断点续传 |
| 4.1.3 实时数据迁移微服务 |
| 4.1.4 数据三层加密 |
| 4.1.5 迁移进展跟踪 |
| 4.1.6 数据解析保存 |
| 4.2 本章小结 |
| 第五章 数据迁移子系统的测试与验证 |
| 5.1 部署环境介绍 |
| 5.2 迁移子系统测试 |
| 5.2.1 测试环境搭建 |
| 5.2.2 功能测试用例 |
| 5.2.3 性能测试比较 |
| 5.2.4 数据一致性验证 |
| 5.3 本章小结 |
| 第六章 总结与展望 |
| 6.1 工作总结 |
| 6.2 未来展望 |
| 参考文献 |
| 附录 |
| 致谢 |
| 攻读学位期间发表的学术论文 |
| 攻读硕士学位期间参与的项目 |
（10）面向配用电应用的大数据集成、存储及处理方法研究（论文提纲范文）
| 摘要 |
| abstract |
| 第一章 绪论 |
| 1.1 研究背景及意义 |
| 1.2 国内外研究现状 |
| 1.2.1 配用电数据集成研究现状 |
| 1.2.2 配用电数据存储研究现状 |
| 1.2.3 配用电数据处理研究现状 |
| 1.2.4 Hadoop及 Spark技术简述 |
| 1.3 本文主要研究工作 |
| 第二章 配用电大数据多源集成方法 |
| 2.1 配用电大数据多源集成问题 |
| 2.2 数据迁移方法 |
| 2.3 数据多源集成方法 |
| 2.3.1 标准化元数据生成 |
| 2.3.2 数据规范化集成 |
| 2.3.3 配用电数据关联关系 |
| 2.4 本章小结 |
| 第三章 基于Hadoop的配用电大数据存储优化及并行查询方法 |
| 3.1 配用电大数据存储及查询需求 |
| 3.2 基于HDFS的配用电大数据存储优化方法 |
| 3.2.1 基于HDFS的数据存储分布策略 |
| 3.2.2 基于哈希分桶算法的数据存储优化 |
| 3.3 基于MapReduce的配用电大数据并行关联查询 |
| 3.3.1 关联查询数据描述 |
| 3.3.2 多源数据并行关联查询方法 |
| 3.4 本章小结 |
| 第四章 基于Spark技术的配用电大数据处理方法 |
| 4.1 基于Spark技术的配电网拓扑数据解析方法 |
| 4.1.1 CIM/SVG格式的半结构化及非结构化配电网拓扑数据 |
| 4.1.2 配电网设备地理坐标与拓扑信息提取 |
| 4.1.3 配电网拓扑的结构化数据构建 |
| 4.1.4 基于Spark技术的配电网拓扑数据解析 |
| 4.2 基于Spark技术和FCM算法的负荷异常数据辨识及修正方法 |
| 4.2.1 基于Spark技术的并行化FCM算法 |
| 4.2.2 基于并行化FCM算法的负荷基准曲线提取 |
| 4.2.3 基于负荷基准曲线的异常数据辨识及修正 |
| 4.3 本章小结 |
| 第五章 配用电大数据应用实例 |
| 5.1 用于负荷时空分布预测的数据多源集成实验 |
| 5.2 基于Hadoop的数据存储优化及并行查询实验 |
| 5.2.1 Hadoop集群性能基准测试 |
| 5.2.2 数据存储优化及关联查询实验 |
| 5.3 基于Spark技术的负荷异常数据辨识及修正处理实验 |
| 5.3.1 Spark实验环境 |
| 5.3.2 基于并行化FCM算法的负荷异常数据辨识及修正处理实验 |
| 5.4 负荷时空分布预测的实现 |
| 5.5 本章小结 |
| 第六章 总结与展望 |
| 6.1 本文总结 |
| 6.2 研究展望 |
| 参考文献 |
| 致谢 |
| 攻读硕士学位期间已发表或录用的论文 |
四、跨平台数据迁移的研究和实现（论文参考文献）
- [1]分布式与自动化大数据智能分析算法与编程计算平台[D]. 朱光辉. 南京大学, 2020(12)
- [2]基于信息平台的异构HIS系统数据迁移方案研究与实践[J]. 邹志合,欧阳邦辉,陈志强,谢德衡. 中国数字医学, 2020(07)
- [3]跨平台统一大数据分析处理与可视化编程平台[D]. 唐颀伟. 南京大学, 2020(11)
- [4]基于新兴神经架构的跨平台推理加速方法研究[D]. 吴尚宇. 深圳大学, 2020(10)
- [5]面向大数据分析的跨平台流式数据迁移系统研究[D]. 陆乐. 南京大学, 2020(02)
- [6]跨平台统一大数据智能化SQL查询系统研究与实现[D]. 张仪. 南京大学, 2020(02)
- [7]关于大数据时代数据迁移关键技术的研究[J]. 赵亚强,王永伦,葛利军. 数字技术与应用, 2019(12)
- [8]交管信息系统分布式数据迁移研究与实现[D]. 孙嘉冬. 上海交通大学, 2019(01)
- [9]面向金融行业的大数据迁移的研究与实现[J]. 王永超,鲁鸣鸣. 计算机工程与应用, 2018(13)
- [10]面向配用电应用的大数据集成、存储及处理方法研究[D]. 王林童. 上海交通大学, 2018(01)