浅谈内存容量的选择

浅谈内存容量的选择

一、浅谈内存容量的选择(论文文献综述)

潘海洋,刘宇航,卢天越,陈明宇[1](2021)在《外部高速缓存与非易失内存结合的混合内存体系结构特性评测》文中进行了进一步梳理以非易失性存储器(NVM)作为主存且以动态随机存取存储器(DRAM)作为片外高速缓存(EC),是一种可以满足大数据应用内存容量需求的新型混合内存结构(ECNVM)。该结构同时具有NVM的大存储容量和DRAM的低存取延迟的优点。传统的结构是以片内SRAM作为片内高速缓存(IC)且以DRAM作为主存(IC-DRAM)。与ICDRAM相比,EC-NVM在容量比、延迟比方面均有显着不同,导致在IC-DRAM场景下的设计方法和优化策略直接迁移到EC-NVM上未必有良好的效果。本文评测了 EC-NVM的体系结构特性(包括高速缓存粒度、关联度、替换算法、预取算法等),获得了指导ECNVM结构的设计和优化的一系列发现。

朱金灿[2](2021)在《面向集群资源有效性的主机负载和作业状态预测研究》文中研究指明集群资源有效性低是当下集群面临的重要挑战,具体表现为集群中主机未能获得合适的资源分配,并且存在着大量无法成功完成的作业反复提交运行,这些都导致了集群资源的大量浪费。为解决上述问题,本文围绕主机负载预测问题和作业状态预测问题展开研究。针上述两个问题,研究人员做了大量工作。本文总结以往的工作主要存在两大不足,一是传统方法无法为主机负载做序列预测,预测实际负载时易产生累计误差;二是以往研究工作的数据集在规模和数量上是有限的,在单个集群上容易过拟合,这削弱了分析结果的普适性。本文立足于多个公开的集群负载跟踪数据集,从中提取并分析主机资源负载特征和影响作业终止状态的关键因素,最终提出了主机负载预测方法和作业状态预测方法。本文分别从理论与实验的角度展开研究分析,具体做了如下工作:(1)分析了不同集群的主机资源使用情况,从不同角度表示集群主机资源负载特征,并提出了主机资源负载预测方法。描述了主机平均负载预测的指数分段预测模式,提前预测了未来连续时间间隔内的平均负载值,以及未来时间段的实际负载变化值。(2)分析了不同集群的作业终止状态分布以及资源使用特征,设计了三个用于描述作业状态实时显示的特征,将作业静态特征与动态特征结合,有效预测了作业未来终止状态。

王孝远[3](2020)在《异构内存混合粒度页面管理机制研究》文中研究表明随着计算机软硬件技术的飞速发展,传统的动态随机访问存储器(Dynamic Random Access Memory,DRAM)因其存储能耗大、存储密度小、可扩展性有限等缺点已经无法满足应用越来越大的内存需求。新兴非易失性存储器(Non-Volatile Memory,NVM)尽管可以避免此类问题,但因其访问时延高、写次数有限及写功耗大,也无法直接作为系统内存。因此,混合使用小容量DRAM和大容量NVM形成的异构内存系统成为了当今内存研究的主流课题。然而,高性能异构内存的设计仍旧面临一个两难困境:一方面系统需要利用大页机制以应对大内存带来的地址转换开销;另一方面系统需要利用页面迁移提升系统性能。不幸的是,现有系统无法同时支持高效的页面迁移机制与大页机制。这是因为粗粒度页面迁移开销较大,而细粒度的页面迁移会破坏地址的连续性,阻碍大页机制的使用。因此,为了实现高性能异构内存,设计实现兼顾大页管理与细粒度页面迁移的页面管理机制成为了异构内存设计的关键挑战。为了应对以上挑战,在异构内存中支持混合粒度的页面管理势在必行。然而,在异构内存中支持混合粒度页面管理,面临诸多挑战,主要包括:轻量级页面监测与迁移机制,以及面向混合粒度页面的体系结构设计。在轻量级页面监测与迁移机制方面,主要表现在监测和迁移开销与监测准确性难以权衡。而在面向混合粒度页面的体系结构设计方面,主要是现有机制对连续性页面映射支持不佳,具体表现在:现有页表管理机制无法有效维护和利用迁移页面的固有连续性;现有快表(Translation Lookaside Buffer,TLB)映射机制对连续性页面支持不佳。为了克服上述研究难题,适应内存架构的演变,在异构内存混合粒度页面监测与迁移、混合粒度页面邻近性感知的页表管理,以及混合粒度页面多粒度TLB管理三个方面开展研究。在面向混合粒度页面的页面监测及迁移方面,提出了一种新的混合内存管理机制Rainbow来支持大页机制和轻量级页面监测及迁移机制。Rainbow以大页粒度管理NVM,并使用DRAM缓存大页中被频繁访问(热)的小页面。相应地,Rainbow使用分离式TLB来支持不同的页面粒度。Rainbow进一步提出了一种NVM到DRAM的地址重映射机制来识别迁移的小页面,而不会拆分大页。此外,Rainbow通过异步监测不同粒度的页面,极大地减少了需要页面监测的页面数量及开销。实验结果表明,Rainbow可以在不显着降低监测准确性的前提下降低高达98.4%(平均86.3%)的监测开销。同时,与没有大页支持的最新的内存迁移策略相比,Rainbow显着降低应用地址转换开销,并将系统性能提高多达2.9倍(平均为45.3%)。在面向混合粒度页面的页表设计方面,提出了一种新的邻近性感知的页表管理机制SuperPT,以减少页表查询相关开销。SuperPT利用混合DRAM分配器和基于伙伴系统的新型垃圾回收机制极大地保留了迁移页面间的连续性;与此同时,SuperPT利用新型虚拟哈希页表支持混合粒度页面,通过保留地址邻近性并以此支持范围映射,从而极大地提高了连续页面的映射效率,从而以更加灵活和高效的方式进行虚拟地址到物理地址及物理地址到虚拟地址的地址转换。实验结果表明,SuperPT可以显着减少内存访问时间(平均减少19.3%),从而平均提高9.5%的系统性能。在面向混合粒度页面的TLB设计方面,提出了一种新的异构内存管理机制Tamp来支持混合内存系统中的多粒度页面管理。由于同一个大页里面的热的小页具有显着的中间连续性,因此Tamp提出了支持混合粒度的新型TLB管理机制,该机制利用迁移页面的地址邻近性特征,显着增加了 TLB的映射范围,从而显着降低了地址转换开销。与此同时,Tamp提出富有侵略性的多粒度页面迁移机制,以提高TLB合并的可能性。这些方案显着提高了 TLB的覆盖率及映射效率。实验结果表明,与其他没有混合粒度页面管理支持的异构内存系统相比,该方法可以有效地减少TLB的缺失率(平均减少62.4%),从而显着提高系统性能(平均提高16.2%)。综上所述,异构内存环境下提出了异构内存混合粒度轻量级页面监测与迁移机制,混合粒度页面页表优化机制,以及混合粒度页面TLB架构优化机制,从不同方面解决了现有研究存在的不足。

李佳伟[4](2020)在《虚拟化系统中的内存管理优化》文中进行了进一步梳理在服务器虚拟化中,多个虚拟机共享同一机器的物理内存。由于内存的读写速度通常要比磁盘等外存设备高出1~2个数量级,因此将虚拟机的数据尽量放入内存可以提升系统性能。然而研究表明,服务器有限的内存容量正在成为限制虚拟机部署密度和系统性能提升的瓶颈。内存重删和动态内存调节是提高虚拟化系统内存利用率的两个重要技术。内存重删通过消除重复数据减少虚拟机的内存占用量。动态内存调节通过回收虚拟机空闲内存提高宿主机内存利用率。本文分析了现有方法的不足,提出了相应的优化方案,具体包括:(1)低开销的内存重删方法现有重删方案采用页面比较的方式发现重复页面,然而这一过程存在较多的无效比较。当页面数量增多时,无效比较的次数增加,CPU开销也随之增加。这会导致重删的效率随着服务器内存容量增加而逐渐降低。本文提出了一种低开销的重删方法CBF-KSM。CBF-KSM的基本思想是使用Counting Bloom Filter算法在页面比较之前进行过滤,将非重复的页面过滤掉,仅允许重复页面执行比较过程。由于系统中非重复页面的数量通常要比重复页面多,因此CBF-KSM可以大大减少页面的比较次数,降低重删进程的CPU开销。在系统内存紧张时,重删还可以减少数据在内存和磁盘之间换入换出的次数和数量,提升应用的性能。实验结果表明:一方面,在相同的重删速度下CBF-KSM和KSM的重删效果相同(节约的内存量相等),而CBF-KSM的CPU开销仅为KSM的一半以下。另一方面,在内存紧张时,二者以相同的CPU开销运行,CBF-KSM重删后应用的执行时间最高缩短46%,KSM重删后应用执行时间最高缩短30%。相比KSM,CBF-KSM可以进一步将性能提升16%。(2)性能感知的多虚拟机动态内存调节方法现有的动态内存调节方法无法准确识别虚拟机访存特征(如内存敏感程度)的差异,会导致多虚拟机之间性能不均衡,而且隔离性容易导致内存调节过度带来虚拟机性能下降。本文提出了 一种虚拟机性能感知的动态内存调节方法PBPF。该方法具有三个特征,第一,虚拟机内存状态评估模型,它能识别虚拟机的访存特征,并根据特征差异指导内存调节过程。本文的评估方法能体现不同虚拟机对内存敏感程度的差异,防止出现内存调节不准确导致虚拟机之间性能不均衡。第二,递进式内存调节策略,它是指内存调节前期以细粒度进行,之后若虚拟机性能无明显下降,则调节粒度逐渐增大。这既能避免因大粒度回收导致的虚拟机性能下降,又能保证内存调节的速度。第三,反馈式内存调节策略,它通过监测虚拟机性能变化及时调整内存策略,避免了因过度调节或突发内存请求影响虚拟机性能,保证了虚拟机性能稳定。实验结果表明,在内存紧张时,该方法能把多虚拟机之间最差性能与最优性能的差距由原方案的43%缩短到10%,且应用平均执行时间基本达到内存充足时的最优情况。

于齐[5](2020)在《基于统一内存GPU的性能优化方法研究》文中指出统一内存是GPU发展过程中一个重要的进展。它指的是在“CPU+GPU”异构系统中,CPU内存与GPU内存共享同一个虚拟地址空间,CPU与GPU可以使用同一个指针访问该地址空间。当GPU(CPU)所访问的数据不在本地内存时,系统会自动地将数据从CPU(GPU)内存迁移至本地内存,不需要人为干预。统一内存带来了三方面的益处:极大地简化了编程,使程序员从复杂的内存管理中解放出来;GPU执行与数据传输可以并行,并且对程序员透明;GPU内存超额配置成为现实,并且对程序员透明。然而,由于GPU本身不具备缺页处理的能力,当发生缺页时,由运行在CPU的软件运行时处理缺页。在这个过程中,CPU需要多次与GPU通信,因此会带来显着的开销。GPU内存超额配置会引发页的替换,这是与缺页处理相反的过程,也会带来显着的开销。这些开销会降低统一内存GPU的性能,不利于GPU的进一步推广。本文研究统一内存GPU的性能优化方法。具体地说,研究针对统一内存GPU的量化评估框架,以全面地分析缺页和内存超额配置对GPU应用性能的影响;研究针对统一内存GPU的页替换机制,以提高页替换的性能,降低内存超额配置所造成的性能损失;研究预取与替换的协同机制,以进一步提升内存超额配置管理的效率,提升统一内存GPU的性能。本文的主要工作及创新包括以下三个方面:1.提出了一个基于访存模式的量化评估框架APEF。该框架包含三个步骤:探索访存模式、量化评估与提出优化机制。首先,APEF探索了 GPU应用中典型的访存模式,给出了每种模式的定义并总结了每种模式的特点。然后,APEF量化地评估了缺页和内存超额配置对GPU应用性能的影响,包括测试GPU应用的性能对缺页延迟的敏感性、分析内存超额配置对GPU应用性能的影响以及评估四种替换策略的性能。最后,根据评估结果,APEF提出了相应的优化机制来缓解缺页和内存超额配置所造成的性能损失。2.提出了一个层级式页替换机制HPE。该机制通过在页组一级管理基元链,降低了管理开销,同时利用了页组中虚拟页的局部性。HPE利用统计数据把应用分成三类,然后为每一类应用选择一个合适的替换策略。为了应对可能出现的分类错误以及应用在运行过程中访存模式的变化,HPE使用了动态调整以便在需要时调整替换策略。为了提高替换决策的准确性,HPE在GPU端设置了命中信息记录缓存来记录命中请求的信息,该信息被周期性地传输到CPU中,用来更新基元链。实验结果表明,与LRU相比,当超额配置率为75%和50%时,HPE分别取得了 1.34X和1.16X的加速。3.提出了一个协同式页预取与替换机制CPPE。该机制包含一个替换策略MHPE和一个访存模式感知的预取策略。MHPE改进了 HPE以支持预取,同时保留了 HPE的性能优势。访存模式感知的预取策略根据被替换基元中的访存模式来预取内存页。在CPPE中,MHPE与访存模式感知的预取策略进行细粒度地协同:MHPE选择一个由预取策略预取的基元作为替换对象;预取策略根据MHPE选择的替换对象中的访存模式来预取内存页。实验结果表明,与基准机制相比,当超额配置率为75%和50%时,CPPE分别取得了 1.56X和1.64X的加速。

刘毫强[6](2020)在《基于忆阻器的低通信图遍历系统》文中研究指明图遍历算法是一类典型的I/O密集型应用。在传统计算系统中,图遍历算法存在着大量的随机访存和数据移动。此外在多加速器图计算系统中,数据分布不均衡,计算单元间通信无序随机、无法预测,这些都给计算系统带来了巨大的通信开销。忆阻器ReRAM是一种新型非易失性存储器(Non-Volatile Memory,NVM),具有存储密度高、非易失性等特点,ReRAM crossbar结构能提供高效的访存。PIM(Process-InMemory)技术将计算单元放入存储单元,以提供更大的内存容量和带宽,为解决图遍历中数据移动和带宽紧张等问题提供了方向。但多加速器间无序随机的通信问题还有待进一步解决。新提出的ReGra系统是一个基于ReRAM crossbar组成的图遍历处理系统。ReGra利用PIM技术提供大内存容量和大带宽,并解决了通信开销大的问题。首先,根据图遍历算法的访存特点和ReRAM crossbar一次能够读取整行数据的特点,采用基于压缩稀疏行的紧凑连续数据存储形式。接着,提出了一个区间数据块哈希均衡图划分算法(Interval Block Hash Balance),以较低开销将图数据划分到多个处理单元(cube)内,有效降低了系统整体通信时间。针对多个cube间的大量无序随机通信,首先依据数据分布区间将通信消息聚合压缩,以减少消息数量。再者,利用循环回合式通信(Circular Round Communication)机制,在一个时间集中且方向明确的时段内进行通信。该机制有效减少了无序随机消息带来的通信和处理开销。此外,ReGra系统引入了多种缓存,既提升了数据局部性,又降低了对ReRAM crossbar的访存频率,提升了计算效率。利用z Sim和NVMain工具构建了ReGra系统仿真环境,并使用真实图数据对宽度优先算法和单源最短路径算法进行了测试。实验结果表明ReGra系统能显着提升图遍历计算的性能,且在通信开销方面显着降低。此外整个系统能耗开销明显降低。

陈元[7](2020)在《基于NUMA架构的虚拟网络功能链部署研究》文中研究说明随着计算机网络的发展以及移动互联网的大规模应用,对网络功能产生了更加多样化的需求。传统上,网络功能是由硬件实现的,虽然性能强劲,但其灵活性、扩展性还是易用性都相较软件实现低得多,无法适应现代网络功能快速发展的需要。网络功能虚拟化(Network Function Virtualization,NFV)的出现很好地解决了这个问题,NFV旨在借助虚拟化技术,在x86等通用性设备用软件实现原本使用硬件完成的各项功能,并通过对网络功能的解耦,大大提高了网络功能的灵活性,同时降低了昂贵的硬件更新和维护成本。现代服务器一直朝着多核的方向发展,随着服务器中CPU核心数的增加,常常发生多个CPU核心经常需要同时访问内存的情况。而传统的总线内存架构下内存控制器只有一个,同一时间只能处理一个CPU核心的访存需求,因此传统内存架构已经无法满足多核心的访存需求。为了解决此问题,现代数据中心中的服务器都已采用非统一内存访问(NUMA,Non-Uniform Memory Access)架构。相较于传统机器上的虚拟网络功能服务链部署,在NUMA机器上部署虚拟网络功能链时更容易发生资源瓶颈问题。这主要是因为,不仅网卡带宽会成为资源瓶颈,在NUMA机器上节点的内存带宽、节点之间的互联QPI总线带宽也会出现瓶颈。因此,在实际NUMA集群中部署虚拟网络功能链时,集群的资源使用率往往不高,VNF服务链也会由于没有充分利用资源而无法达到最佳性能。针对此问题,本文研究了在NUMA集群上的网络功能服务链部署问题,并针对实际部署,考虑了两个典型的场景:在线服务场景和批量部署场景。对于在线VNF链的部署,服务链请求依次到达,存在时间上的先后关系。并且当一个请求到达时,系统必须立即部署并运行该VNF链,以达到服务链实时性的要求。在线服务中,因为VNF链的部署只能针对当前时刻的请求,无法获知后续VNF链的情况,因此,这样的VNF链部署往往难以达到全局的最佳。对于云服务提供商而言,某些增值服务往往包含一组VNF链请求,并且这些VNF链具有较长的生命周期。为此,本文针对这些同时到达的一批VNF链请求,研究了VNF链批量部署场景,以期达到最佳部署效果。具体研究工作包括以下两个方面:(1)针对在线服务场景,本文通过实验验证了,访问远端NUMA的节点会显着降低吞吐量并降低资源利用率。针对此问题,本文分析了NUMA服务器上的资源竞争、虚拟网络功能链的数据流在NUMA中的传输情况,提出了VNF链在线部署问题,目标为最大化VNF链的接受率。由于请求依次到达,部署当前链之后会有新链到达,所以在部署当前到达的虚拟网络功能链时,不将网络带宽资源用尽,避免出现新到达的VNF链无法部署的情况。为了尽可能容纳更多的虚拟网络功能链,就需要避免出现集群资源(包括硬件的资源与网络资源)的碎片化。本文设计了一个基于贪心策略的虚拟网络功能链部署算法,该算法尽可能地将服务链中的相邻虚拟网络功能部署到相同NUMA节点中,以避免跨NUMA节点访问造成VNF链的吞吐量下降。大量的仿真表明,本文的在线算法能够提高资源利用率9%-17%。(2)针对批量部署场景,本文提出了基于蒙特卡洛的树搜索算法。主要的挑战是部署中,需要同时确定虚拟网络功能的部署以及流量的重分配。为此,本文将VNF服务链部署问题转化为蒙特卡洛树搜索问题,根据虚拟网络功能服务链上的每一个虚拟网络功能的部署位置,构建出一个蒙特卡洛树。为了避免在每次迭代中陷入局部最优,在搜索过程中决策时,既考虑历史迭代得到的最优结果,也加入了一定的随机性。大量的仿真表明,所设计的算法相对于传统算法的性能提升为17%-25%。本文研究了NUMA架构服务器集群中的VNF服务链部署问题,针对请求的时序性,考虑了两个典型的场景:在线服务场景和批量部署场景。在不同的场景中,分别对问题进行了建模与形式化描述,提出了基于贪心策略的VNF服务链部署算法与基于蒙特卡洛树搜索的VNF服务链部署算法,经过大量的实验,验证了算法的有效性。

周娇媚[8](2020)在《分布式并行网格生成软件框架研制及其应用》文中研究指明网格是计算流体动力学(CFD)模拟的输入,网格的大小和质量都会对模拟结果造成影响。随着高保真模拟技术的不断发展,CFD计算网格的规模越来越大,这对交互式网格生成软件的开发提出了巨大的挑战。目前主流的桌面CFD端交互式网格生成软件普遍存在以下不足:受主机计算资源的限制,个人电脑的计算能力是十分有限的,难以满足大规模CFD应用对网格量的巨大需求。为了解决这一问题,本文基于现有网格生成软件(NNW-GridStar)的框架模式,融合服务型软件的客户端/服务器模式,并利用消息中间件技术,提出了一种分布式并行网格生成软件框架PadMesh,作为后续开发各种交互式网格生成软件(如结构化的、非结构化的和笛卡尔的)的基础软件架构。论文的主要研究内容如下:(1)研究了分布式并行网格生成软件框架所需要的关键技术,包括并行计算技术和消息中间件技术等;在此基础上,设计出一种分布式并行网格生成软件框架(PadMesh),并利用RabbitMQ实现了网格生成中间件;(2)针对NNW-GridStar软件的并行化,首先提出了结构网格的可视化数据管理和分布式数据存储策略,然后实现了分布式网格读取和网格线并行加密两个基础功能,从而验证了PadMesh在分布式并行结构网格生成软件研制中的可用性;(3)针对典型网格,利用所研制的分布式并行结构网格生成原型系统(NNWPGridStar)将网格规模逐步从100万加密到300亿,测试了NNW-PGridStar软件在网格生成、网格加密、人机交互操作等方面的优秀性能。

柴欢[9](2020)在《大学生个人原生数字资源长期保存行为影响因素模型研究》文中认为数字时代,随着信息技术的飞速发展,网络以及电脑、手机等数字设备的普及应用,由个体自我产生的个人原生数字信息越来越多。所谓个人原生数字信息,即是指个人在社会实践过程中由自身产生创建并以数字化的形式存在,对其进行管理、维护的这类数字信息的集合。由于其唯一性、独创性等特点,个人原生数字资源一旦损坏,就可能完全消失,面对这一风险问题,数据创建者对该类数字资源的长期保存应是责无旁贷。考虑到90后、00后作为在信息高速发展的大环境下成长起来的一代,在日常学习生活中时时刻刻都会有大量的数字信息产生。鉴于此,本研究选择大学生为研究对象,探究当下大学生对个人原生数字资源长期保存的认知与意愿;揭示大学生个人原生数字资源长期保存行为影响因素;构建并验证大学生个人原生数字资源长期保存行为影响因素模型。本研究采用质性研究和定量研究相结合的方法。质性研究部分,运用扎根理论对13名硕士研究生的原始访谈资料进行三级编码,提取出18个基本范畴,形成学习工作导向、日常生活导向、学科背景、认知状态、个人情感、个人习惯、社会关系、技术应用、技术匹配9个主范畴及情境导向、主体因素、社会因素和行为媒介4个维度;将构建出的主范畴间关系结构与现有的用户价值接受模型、Triandis模型等理论研究成果进行整合,提出本研究的理论假设并构建初始概念模型。定量研究部分,问卷调查表的设计是基于质性研究中的基本范畴作为量表的观测变量,及相关文献研究中主要论述的观点作为量表测量问项的参考来源。对收集到的331份问卷数据进行统计分析,运用AMOS 23.0软件通过结构方程模型的方法对前文构建的概念模型进行验证及修正。研究发现:(1)在最终的模型中,社会环境、技术应用两个因素对个人原生数字资源长期保存行为没有显着影响;学习工作导向、日常生活导向、认知状态、个人情感、个人习惯、社会关系、技术匹配这7个影响因素得以保留,其中个人习惯、社会关系及技术匹配是个人原生数字资源长期保存行为的直接影响因素,并且社会关系还正向影响着个人情感。(2)情境导向维度中学习工作导向和日常生活导向作为外生变量正向影响认知状态;主体因素维度“认知状态→个人情感→个人习惯”,3个因素存在正向调节关系,这5个因素作为外生变量以及中介变量间接正向影响着个人原生数字资源长期保存行为。

朱伟伟[10](2020)在《基于Memcached高可用分布式内存数据库的研究与实现》文中指出为了提高应用程序的数据读取速度,越来越多开发者在软件产品中使用内存数据库来提高产品的性能。实验室在现有的产品中也使用了Memcached内存数据库,以提高产品的使用体验。但由于Memcached内存数据库属于开源软件,并不完全适合实验室产品需求,为此,本文以Memcached为基础,研究与实现一套更适用于现有产品的内存数据库系统MEMDB。首先,本文针对目前产品中用到的内存数据库Memcached在使用过程中发现的不足进行了分析。Memcached作为内存数据库,虽然有良好的性能,但是也存在客户端无法自动更新节点信息、负载均衡没有考虑数据节点内存容量的差异、不支持持久化等问题。本文以解决这些问题为出发点,提出了MEMDB内存数据库系统的架构,该系统由监控节点、客户端以及数据节点三部分构成。其次,本文对MEMDB系统三部分进行详细的设计和实现。监控节点作为系统的大脑,保存和更新系统拓扑信息,维护整个系统的运行状况。监控节点通过集群策略避免单点故障导致系统瘫痪,同时使用Paxos协议在集群中选择一个节点作为主节点,通过该节点维护监控集群其他节点上信息的一致性,并利用心跳技术检测系统中各个节点的运行状况。客户端向应用提供操作MEMDB系统的API接口,负责系统的负载均衡和读写分离任务。客户端利用从监控节点获得数据节点拓扑信息和副本放置规则,并结合CRUSH算法计算出数据对象和数据节点之间的映射关系。客户端利用系统对同份数据保存多个副本实现数据的读写分离操作,提高系统的整体性能。数据节点使用Memcached的内存分配机制,对Memcached的内存淘汰算法进行改进,采用LRU2算法来减少热点数据被频繁换出带来的影响,以提高热点数据的命中率。数据节点利用同步复制策略来保证副本节点间数据的一致性,使用持久化操作,将客户端的操作命令以日志方式保存在磁盘中,并定期对持久化文件进行重构,控制好持久化文件的大小。最后,根据上面对MEMDB系统的设计和实现,并在实验室云平台中部署一套MEMDB系统,对其进行了详细的测试和分析。测试结果表明整个系统符合最初的设计需求,具有较高的可用性。

二、浅谈内存容量的选择(论文开题报告)

(1)论文研究背景及目的

此处内容要求:

首先简单简介论文所研究问题的基本概念和背景,再而简单明了地指出论文所要研究解决的具体问题,并提出你的论文准备的观点或解决方法。

写法范例:

本文主要提出一款精简64位RISC处理器存储管理单元结构并详细分析其设计过程。在该MMU结构中,TLB采用叁个分离的TLB,TLB采用基于内容查找的相联存储器并行查找,支持粗粒度为64KB和细粒度为4KB两种页面大小,采用多级分层页表结构映射地址空间,并详细论述了四级页表转换过程,TLB结构组织等。该MMU结构将作为该处理器存储系统实现的一个重要组成部分。

(2)本文研究方法

调查法:该方法是有目的、有系统的搜集有关研究对象的具体信息。

观察法:用自己的感官和辅助工具直接观察研究对象从而得到有关信息。

实验法:通过主支变革、控制研究对象来发现与确认事物间的因果关系。

文献研究法:通过调查文献来获得资料,从而全面的、正确的了解掌握研究方法。

实证研究法:依据现有的科学理论和实践的需要提出设计。

定性分析法:对研究对象进行“质”的方面的研究,这个方法需要计算的数据较少。

定量分析法:通过具体的数字,使人们对研究对象的认识进一步精确化。

跨学科研究法:运用多学科的理论、方法和成果从整体上对某一课题进行研究。

功能分析法:这是社会科学用来分析社会现象的一种方法,从某一功能出发研究多个方面的影响。

模拟法:通过创设一个与原型相似的模型来间接研究原型某种特性的一种形容方法。

三、浅谈内存容量的选择(论文提纲范文)

(1)外部高速缓存与非易失内存结合的混合内存体系结构特性评测(论文提纲范文)

0 引言
1 EC-NVM
2 研究方法概述
    2.1 大内存基准测试程序构建
    2.2 实验方法介绍
3 不同缓存粒度对EC-NVM结构的影响
    3.1 缓存粒度对缓存命中率的影响
    3.2 缓存粒度对综合性能的影响
4 不同缓存关联度对EC-NVM结构的影响
    4.1 缓存关联度对缓存命中率的影响
    4.2 缓存关联度对综合性能的影响
    4.3 Tag缓存对组相联缓存的影响
5 不同替换算法对EC-NVM结构的影响
6 不同预取算法应用在EC-NVM结构上的效果
7 相关工作
8 结论

(2)面向集群资源有效性的主机负载和作业状态预测研究(论文提纲范文)

摘要
ABSTRACT
第1章 绪论
    1.1 研究背景及意义
    1.2 研究现状
        1.2.1 主机负载研究现状
        1.2.2 作业状态研究现状
    1.3 本文主要工作
    1.4 论文结构安排
第2章 集群主机负载预测方法
    2.1 主机负载数据描述
        2.1.1 Google集群负载数据描述
        2.1.2 UCAS集群负载数据描述
    2.2 主机负载特征分析
        2.2.1 主机CPU和内存配置分析
        2.2.2 主机资源负载量分析
        2.2.3 主机资源负载自相关性分析
    2.3 主机负载预测框架
    2.4 主机负载预测方法
    2.5 主机负载指数分段模式
    2.6 主机负载预测模型
    2.7 本章小结
第3章 集群作业状态预测方法
    3.1 作业状态预测问题描述
    3.2 作业数据集概述及基本分析
        3.2.1 作业数据集介绍
        3.2.2 作业信息概览
    3.3 作业状态预测方法
    3.4 作业特征工程
        3.4.1 作业特征分析及处理
        3.4.2 作业特征选择
    3.5 作业状态预测模型
    3.6 本章小结
第4章 实验评估
    4.1 实验设置
    4.2 评估标准
        4.2.1 主机负载预测评估标准
        4.2.2 作业状态预测评估标准
    4.3 主机负载预测
        4.3.1 Google集群主机负载预测
        4.3.2 UCAS集群主机负载预测
        4.3.3 主机负载预测方法综合对比
    4.4 作业状态预测
        4.4.1 作业状态预测准确率
        4.4.2 作业状态预测查错率
        4.4.3 作业状态预测混淆矩阵分析
        4.4.4 作业状态预测方法综合对比
    4.5 本章小结
第5章 结论与展望
    5.1 总结
    5.2 展望
致谢
参考文献
附录1 攻读硕士学位期间发表的论文

(3)异构内存混合粒度页面管理机制研究(论文提纲范文)

摘要
Abstract
主要符号对照表
1 绪论
    1.1 研究背景
    1.2 国内外研究现状
    1.3 研究目的
    1.4 研究内容
    1.5 论文组织结构
2 面向混合粒度页面的轻量级监测与迁移机制
    2.1 问题提出
    2.2 框架概述
    2.3 轻量级热页监测
    2.4 轻量级页面迁移
    2.5 高效地址映射与重映射
    2.6 有效性评价与分析
    2.7 本章小结
3 面向混合粒度页面的邻近性感知的页表管理机制
    3.1 问题提出
    3.2 框架概述
    3.3 虚拟哈希页表
    3.4 混合粒度DRAM缓存管理
    3.5 基于伙伴系统的新型垃圾回收器
    3.6 数据一致性保障
    3.7 有效性评价与分析
    3.8 本章小结
4 面向混合粒度页面的多粒度TLB管理机制
    4.1 问题提出
    4.2 框架概述
    4.3 多粒度页面管理机制
    4.4 多粒度TLB聚合与映射机制
    4.5 多粒度TLB异步更新策略
    4.6 数据一致性保障
    4.7 有效性评价与分析
    4.8 本章小结
5 总结与展望
致谢
参考文献
附录1 攻读学位期间发表论文目录
附录2 攻读博士学位期间参与的科研项目

(4)虚拟化系统中的内存管理优化(论文提纲范文)

摘要
ABSTRACT
第1章 绪论
    1.1 虚拟化概述
        1.1.1 基于Hypervisor的系统虚拟化
        1.1.2 系统虚拟化的优势
    1.2 内存虚拟化
        1.2.1 x86架构的内存管理
        1.2.2 内存虚拟化的原理
    1.3 虚拟化中的内存管理技术
        1.3.1 内存重删
        1.3.2 动态内存调节
        1.3.3 内存管理的意义
    1.4 本文的研究内容和贡献
        1.4.1 低开销的内存重删
        1.4.2 多虚拟机动态内存调节
    1.5 本文的组织结构
第2章 内存管理相关技术与挑战
    2.1 内存重删
        2.1.1 内存重删的原理
        2.1.2 相关研究工作
    2.2 虚拟机动态内存调节技术
        2.2.1 内存调节技术的分类
        2.2.2 基于“气球”的动态内存调节
        2.2.3 相关研究工作
    2.3 面临的挑战
        2.3.1 内存管理的实时性要求
        2.3.2 虚拟化中的隔离性需求
    2.4 本章小结
第3章 低开销内存重删
    3.1 内存重删中的问题描述
        3.1.1 内存重删的效率分析
        3.1.2 内存重删的通用性分析
    3.2 低开销内存重删机制CBF-KSM
        3.2.1 CBF-KSM的基本思想
        3.2.2 CBF-KSM的整体架构
        3.2.3 CBF-KSM的工作原理
    3.3 实验评估
        3.3.1 实验设置
        3.3.2 CBF-KSM的重删效率
        3.3.3 CBF-KSM对应用性能的优化
        3.3.4 CBF-KSM的开销和误报率
    3.4 本章小结
第4章 多虚拟机动态内存调节
    4.1 多虚拟机动态内存调节的问题描述
        4.1.1 多虚拟机性能不均衡性分析
        4.1.2 现有调节方案的不足
        4.1.3 动态内存调节的挑战
    4.2 性能感知的虚拟机动态内存调节
        4.2.1 出发点和基本思想
        4.2.2 虚拟机内存状态评估
        4.2.3 递进式内存调节
        4.2.4 反馈式内存调节
    4.3 实验评估
        4.3.1 实验设置
        4.3.2 多虚拟机性能均衡性评估
        4.3.3 内存调节对应用性能影响
        4.3.4 不同内存压力下的性能
    4.4 本章小结
第5章 总结与展望
    5.1 本文总结
    5.2 工作展望
参考文献
致谢
在读期间发表的学术论文与取得的研究成果

(5)基于统一内存GPU的性能优化方法研究(论文提纲范文)

摘要
Abstract
符号使用说明
第一章 绪论
    1.1 研究背景
        1.1.1 大数据的发展
        1.1.2 GPU的结构
        1.1.3 统一内存GPU
    1.2 相关工作
        1.2.1 统一内存GPU的性能评估
        1.2.2 统一内存GPU的性能优化
    1.3 研究内容
        1.3.1 量化评估框架
        1.3.2 页替换机制
        1.3.3 页预取与替换协同机制
    1.4 主要创新
    1.5 论文结构
第二章 统一内存GPU的研究背景
    2.1 引言
    2.2 发展历程及特点
    2.3 性能评估
        2.3.1 利用真实平台评估
        2.3.2 利用模拟器评估
    2.4 性能优化技术
        2.4.1 地址翻译优化技术
        2.4.2 页漫游调度技术
        2.4.3 缺页开销优化技术
        2.4.4 内存超额配置管理技术
        2.4.5 其它技术
    2.5 本章小结
第三章 基于访存模式的量化评估框架APEF
    3.1 引言
    3.2 研究动机
    3.3 实验方法
        3.3.1 实验平台
        3.3.2 测试程序
    3.4 基于访存模式的量化评估框架APEF
        3.4.1 框架概述
        3.4.2 探索访存模式
        3.4.3 量化评估与分析
        3.4.4 优化机制
    3.5 本章小结
第四章 层级式页替换机制HPE
    4.1 引言
    4.2 研究动机
        4.2.1 LRU策略分析
        4.2.2 RRIP策略分析
    4.3 层级式页替换机制HPE
        4.3.1 整体设计
        4.3.2 命中信息记录缓存
        4.3.3 基元链的结构与操作
        4.3.4 替换算法选择
        4.3.5 动态调整
    4.4 实验评估
        4.4.1 实验平台
        4.4.2 测试程序
        4.4.3 HPE评估
        4.4.4 开销分析
    4.5 本章小结
第五章 协同式页预取与替换机制CPPE
    5.1 引言
    5.2 研究动机
        5.2.1 预取策略分析
        5.2.2 替换策略分析
        5.2.3 预取与替换协同机制分析
    5.3 协同式页预取与替换机制CPPE
        5.3.1 设计概述
        5.3.2 MHPE
        5.3.3 访存模式感知的预取策略
    5.4 实验评估
        5.4.1 实验平台
        5.4.2 测试程序
        5.4.3 CPPE评估
        5.4.4 开销分析
    5.5 本章小结
第六章 总结与展望
    6.1 工作总结
    6.2 研究展望
致谢
参考文献
作者在学期间取得的学术成果

(6)基于忆阻器的低通信图遍历系统(论文提纲范文)

摘要
Abstract
1 绪论
    1.1 研究背景及意义
    1.2 国内外研究现状
    1.3 研究目标和主要工作
    1.4 本文的组织结构
2 研究基础与相关技术
    2.1 图的表示形式与划分方法
    2.2 基于PIM的图计算系统
    2.3 忆阻器原理和应用
    2.4 本章小结
3 基于忆阻器的低通信图遍历系统设计与实现
    3.1 系统整体架构
    3.2 区间数据块哈希均衡图划分算法
    3.3 基于消息传递的通信方法
    3.4 循环回合式通信机制
    3.5 缓存机制
    3.6 图遍历算法映射案例
    3.7 本章小结
4 系统测试与性能分析
    4.1 测试环境
    4.2 对比测试与结果分析
    4.3 本章小结
5 总结与展望
致谢
参考文献

(7)基于NUMA架构的虚拟网络功能链部署研究(论文提纲范文)

摘要
Abstract
第一章 绪论
    1.1 研究背景
        1.1.1 网络功能虚拟化
        1.1.2 内存访问架构 (UMA与NUMA)
        1.1.3 面向NUMA架构服务器集群部署VNF链的挑战
    1.2 研究内容
    1.3 本文的组织结构
第二章 相关工作
    2.1 VNF架构与系统优化现状
    2.2 VNF在线部署问题研究现状
    2.3 VNF批量部署问题研究现状
    2.4 小结
第三章 基于 NUMA 架构的 VNF服务链在线部署问题
    3.1 NUMA中的内存访问情况分析及测试
    3.2 NUMA架构对VNF的性能影响
        3.2.1 NUMA服务器上的资源竞争分析
        3.2.2 VNF链的数据流在NUMA中的传输情况分析
    3.3 VNF链在线部署问题的分析
    3.4 问题的模型及形式化定义
    3.5 问题的复杂度分析
    3.6 基于贪心策略的VNF服务链在线部署算法
    3.7 实验验证
        3.7.1 实验设置
        3.7.2 实验结果
    3.8 小结
第四章 基于 NUMA 架构的批量VNF 链部署问题
    4.1 批量VNF链部署问题
    4.2 问题的模型及形式化定义
    4.3 问题的复杂度分析
    4.4 基于蒙特卡洛树搜索的VNF服务链部署算法
        4.4.1 蒙特卡洛树搜索算法 (MCTS)
        4.4.2 算法设计
    4.5 实验验证
        4.5.1 实验设置
        4.5.2 实验结果
    4.6 小结
第五章 总结与展望
致谢
参考文献
简历与科研成果

(8)分布式并行网格生成软件框架研制及其应用(论文提纲范文)

摘要
abstract
1 绪论
    1.1 研究背景与意义
    1.2 国内外研究现状
    1.3 本文的主要工作
        1.3.1 主要研究内容
        1.3.2 文章的组织结构
2 基于消息中间件网格分布生成技术研究
    2.1 前言
    2.2 结构网格软件分布式并行技术研究
        2.2.1 多进程信息传递技术研究
        2.2.2 MPI/OpenMP两级并行网格生成
        2.2.3 人机交互数据的收集与分发技术
    2.3 网格专用消息中间件技术研究
        2.3.1 数据的序列化技术
        2.3.2 网格软件的消息传递机制
        2.3.3 软件设计原则
        2.3.4 大数据传输中的数据压缩技术
    2.4 分布式并行软件框架PadMesh
        2.4.1 PadMesh软件框架的设计
        2.4.2 面向消息的中间件实现
    2.5 小结
3 PadMesh在网格生成软件上的应用
    3.1 前言
    3.2 NNW-GridStar简介
        3.2.1 软件概述
        3.2.2 体系结构
        3.2.3 功能结构
    3.3 开发NNW-PGridStar客户端
        3.3.1 设计模式
        3.3.2 可视化数据管理
        3.3.3 客户端与RabbitMQ之间的通信
    3.4 开发NNW-PGridStar服务器
        3.4.1 执行模式
        3.4.2 分布式网格数据管理
        3.4.3 功能控制器实现:并行读取本地工程文件
        3.4.4 功能控制器实现:修改网格线维度
        3.4.5 服务器和RabbitMQ之间传输的数据的序列化
    3.5 NNW-PGridStar初始版本信息
    3.6 小结
4 算例验证
    4.1 前言
    4.2 结构网格生成测试
    4.3 小结
5 总结与展望
    5.1 总结
    5.2 展望
致谢
参考文献
攻读学位期间的研究成果

(9)大学生个人原生数字资源长期保存行为影响因素模型研究(论文提纲范文)

摘要
Abstract
第1章 绪论
    1.1 研究背景
        1.1.1 时代背景
        1.1.2 学科背景
    1.2 研究意义
        1.2.1 理论意义
        1.2.2 实践意义
    1.3 相关概念界定
        1.3.1 数字资源
        1.3.2 个人数字资源
        1.3.3 个人原生数字资源
        1.3.4 个人数字资源保存
        1.3.5 个人原生数字资源长期保存行为
        1.3.6 大学生
    1.4 研究框架
        1.4.1 研究内容
        1.4.2 研究思路
        1.4.3 结构安排
第2章 文献综述
    2.1 个人数字资源基础研究
        2.1.1 个人数字资源基本概念研究
        2.1.2 个人数字资源组织管理研究
    2.2 个人数字资源保存相关研究
        2.2.1 个人数字保存基础问题研究
        2.2.2 个人数字保存实践案例研究
        2.2.3 个人信息管理视角下个人数字保存研究
        2.2.4 文件与档案管理视角下个人数字存档研究
    2.3 个人数字保存行为研究
        2.3.1 个人数字保存行为现状研究
        2.3.2 个人数字保存行为影响因素研究
第3章 基于扎根理论的大学生个人原生数字资源长期保存行为影响因素探究
    3.1 研究程序与研究问题
        3.1.1 研究程序
        3.1.2 研究问题
        3.1.3 研究方法
    3.2 研究步骤与过程
        3.2.1 资料收集工具准备
        3.2.2 研究对象
        3.2.3 资料的整理与分析
    3.3 研究信度、效度保障措施
        3.3.1 信度保障措施
        3.3.2 效度保障措施
第4章 大学生个人原生数字资源长期保存行为影响因素分析与模型构建
    4.1 大学生个人原生数字资源长期保存行为影响因素分析
        4.1.1 情境导向
        4.1.2 主体因素
        4.1.3 社会因素
        4.1.4 行为媒介
    4.2 大学生个人原生数字资源长期保存行为影响因素模型构建
        4.2.1 理论依据与研究假设
        4.2.2 概念模型设计
第5章 大学生个人原生数字资源长期保存行为影响因素问卷设计与数据整理
    5.1 研究问题与方法
        5.1.1 研究问题
        5.1.2 研究方法
    5.2 调查问卷设计
        5.2.1 调查问卷整体结构
        5.2.2 变量操作性测量问项
    5.3 数据收集与分析
        5.3.1 数据收集方式及过程
        5.3.2 样本基本情况统计
        5.3.3 现状分析
    5.4 信度和效度检验
        5.4.1 信度检验
        5.4.2 效度检验
第6章 大学生个人原生数字资源长期保存行为影响因素模型验证与修正
    6.1 结构方程模型检验
    6.2 模型修正
    6.3 研究结果讨论与理论阐释
        6.3.1 情境导向维度对长期保存的效应分析
        6.3.2 主体因素维度对长期保存的效应分析
        6.3.3 社会因素维度对长期保存的效应分析
        6.3.4 行为媒介维度对长期保存的效应分析
第7章 大学生个人原生数字资源长期保存行为问题分析与优化策略
    7.1 大学生个人原生数字资源长期保存行为问题分析
        7.1.1 大学生对个人原生数字资源的长期保存缺乏整体规划
        7.1.2 相关机构对个人原生数字资源的长期保存缺乏宣传引导
    7.2 大学生个人原生数字资源长期保存行为优化策略
        7.2.1 提高保存意识,重视个人原生数字价值
        7.2.2 保障个人隐私,合理选择个人原生数字存储工具
        7.2.3 多方主体协作,构建长效保存机制
第8章 研究结论与展望
    8.1 研究结论
    8.2 研究创新点
    8.3 研究局限与展望
参考文献
附录1 知情同意书
附录2 访谈提纲
附录3 大学生个人原生数字资源长期保存行为影响因素调查问卷
致谢
读研期间科研情况

(10)基于Memcached高可用分布式内存数据库的研究与实现(论文提纲范文)

摘要
abstract
第一章 绪论
    1.1 课题研究背景
    1.2 国内外研究现状
    1.3 课题研究内容
    1.4 论文结构安排
第二章 相关技术理论研究
    2.1 Memcached分析与介绍
        2.1.1 内存分配
        2.1.2 哈希表
    2.2 分布式系统一致性
        2.2.1 数据一致性
        2.2.2 Paxos算法
    2.3 负载均衡算法
        2.3.1 一致性hash算法
        2.3.2 CRUSH算法
    2.4 libevent网络库介绍
    2.5 本章小结
第三章 系统分析与设计
    3.1 系统分析
    3.2 系统体系架构设计
    3.3 监控节点设计
        3.3.1 监控信息管理
        3.3.2 心跳检测
        3.3.3 故障处理
    3.4 客户端设计
        3.4.1 负载均衡
        3.4.2 读写分离
    3.5 数据节点设计
        3.5.1 内存管理
        3.5.2 数据同步
        3.5.3 持久化
    3.6 本章小结
第四章 系统实现
    4.1 监控节点实现
        4.1.1 系统拓扑信息实现
        4.1.2 信息一致性
        4.1.3 心跳检测
        4.1.4 故障处理
    4.2 客户端实现
        4.2.1 负载均衡
        4.2.2 读写分离
    4.3 数据节点实现
        4.3.1 内存管理
        4.3.2 数据同步
        4.3.3 持久化
    4.4 本章小结
第五章 系统测试与分析
    5.1 测试目标
    5.2 测试环境
        5.2.1 测试环境配置
        5.2.2 测试环境安装
    5.3 测试结果与分析
        5.3.1 数据同步测试
        5.3.2 读写分离测试
        5.3.3 持久化测试
        5.3.4 故障处理测试
        5.3.5 宕机恢复测试
        5.3.6 负载均衡测试
    5.4 本章小结
第六章 总结与展望
    6.1 全文主要工作
    6.2 后续工作展望
致谢
参考文献

四、浅谈内存容量的选择(论文参考文献)

  • [1]外部高速缓存与非易失内存结合的混合内存体系结构特性评测[J]. 潘海洋,刘宇航,卢天越,陈明宇. 高技术通讯, 2021(05)
  • [2]面向集群资源有效性的主机负载和作业状态预测研究[D]. 朱金灿. 武汉科技大学, 2021(01)
  • [3]异构内存混合粒度页面管理机制研究[D]. 王孝远. 华中科技大学, 2020(01)
  • [4]虚拟化系统中的内存管理优化[D]. 李佳伟. 中国科学技术大学, 2020(01)
  • [5]基于统一内存GPU的性能优化方法研究[D]. 于齐. 国防科技大学, 2020(01)
  • [6]基于忆阻器的低通信图遍历系统[D]. 刘毫强. 华中科技大学, 2020(05)
  • [7]基于NUMA架构的虚拟网络功能链部署研究[D]. 陈元. 南京大学, 2020(09)
  • [8]分布式并行网格生成软件框架研制及其应用[D]. 周娇媚. 西南科技大学, 2020(08)
  • [9]大学生个人原生数字资源长期保存行为影响因素模型研究[D]. 柴欢. 西南大学, 2020(01)
  • [10]基于Memcached高可用分布式内存数据库的研究与实现[D]. 朱伟伟. 电子科技大学, 2020(07)

标签:;  ;  ;  ;  

浅谈内存容量的选择
下载Doc文档

猜你喜欢