1 带颜色的JVM垃圾回收三色标记法-德赢Vwin官网 网
0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

带颜色的JVM垃圾回收三色标记法

Linux爱好者 来源:博客 作者:等不到的口琴 2021-10-20 14:23 次阅读

三色标记法是一种垃圾回收法,它可以让JVM不发生或仅短时间发生STW(Stop The World),从而达到清除JVM内存垃圾的目的。JVM中的CMS、G1垃圾回收器所使用垃圾回收算法即为三色标记法。

三色标记算法思想三色标记法将对象的颜色分为了黑、灰、白,三种颜色。

白色:该对象没有被标记过。(对象垃圾)

灰色:该对象已经被标记过了,但该对象下的属性没有全被标记完。(GC需要从此对象中去寻找垃圾)

黑色:该对象已经被标记过了,且该对象下的属性也全部都被标记过了。(程序所需要的对象)

算法流程

从我们main方法的根对象(JVM中称为GC Root)开始沿着他们的对象向下查找,用黑灰白的规则,标记出所有跟GC Root相连接的对象,扫描一遍结束后,一般需要进行一次短暂的STW(Stop The World),再次进行扫描,此时因为黑色对象的属性都也已经被标记过了。

所以只需找出灰色对象并顺着继续往下标记(且因为大部分的标记工作已经在第一次并发的时候发生了,所以灰色对象数量会很少,标记时间也会短很多), 此时程序继续执行,GC线程扫描所有的内存,找出扫描之后依旧被标记为白色的对象(垃圾),清除。

具体流程:

首先创建三个集合:白、灰、黑。

将所有对象放入白色集合中。

然后从根节点开始遍历所有对象(注意这里并不递归遍历),把遍历到的对象从白色集合放入灰色集合。

之后遍历灰色集合,将灰色对象引用的对象从白色集合放入灰色集合,之后将此灰色对象放入黑色集合

重复 4 直到灰色中无任何对象

通过write-barrier检测对象有变化,重复以上操作

收集所有白色对象(垃圾)

三色标记存在问题

浮动垃圾:并发标记的过程中,若一个已经被标记成黑色或者灰色的对象,突然变成了垃圾,由于不会再对黑色标记过的对象重新扫描,所以不会被发现,那么这个对象不是白色的但是不会被清除,重新标记也不能从GC Root中去找到,所以成为了浮动垃圾,浮动垃圾对系统的影响不大,留给下一次GC进行处理即可。

对象漏标问题(需要的对象被回收):并发标记的过程中,一个业务线程将一个未被扫描过的白色对象断开引用成为垃圾(删除引用),同时黑色对象引用了该对象(增加引用)(这两部可以不分先后顺序);因为黑色对象的含义为其属性都已经被标记过了,重新标记也不会从黑色对象中去找,导致该对象被程序所需要,却又要被GC回收,此问题会导致系统出现问题,而CMS与G1,两种回收器在使用三色标记法时,都采取了一些措施来应对这些问题,CMS对增加引用环节进行处理(Increment Update),G1则对删除引用环节进行处理(SATB)。

解决办法在JVM虚拟机中有两种常见垃圾回收器使用了该算法:CMS(Concurrent Mark Sweep)、G1(Garbage First) ,为了解决三色标记法对对象漏标问题各自有各自的法:

CMS回顾

CMS(Concurrent Mark Sweep)收集器是一种以获取最短回收停顿时间为目标的收集器。目前很大一部分的Java应用集中在互联网网站或者基于浏览器的B/S系统的服务端上,这类应用通常都会较为关注服务的响应速度,希望系统停顿时间尽可能短,以给用户带来良好的交互体验。CMS收集器就非常符合这类应用的需求(但是实际由于某些问题,很少有使用CMS作为主要垃圾回收器的)。

从名字(包含“Mark Sweep”)上就可以看出CMS收集器是基于标记-清除算法实现的,它的运作过程相对于前面几种收集器来说要更复杂一些,整个过程分为四个步骤,包括:1)初始标记(CMS initial mark) 2)并发标记(CMS concurrent mark) 3)重新标记(CMS remark) 4)并发清除(CMS concurrent sweep)

其中初始标记、重新标记这两个步骤仍然需要“Stop The World”。初始标记仅仅只是标记一下GCRoots能直接关联到的对象,速度很快;

并发标记阶段就是从GC Roots的直接关联对象开始遍历整个对象图的过程,这个过程耗时较长但是不需要停顿用户线程,可以与垃圾收集线程一起并发运行;

重新标记阶段则是为了修正并发标记期间,因用户程序继续运作而导致标记产生变动的那一部分对象的标记记录,这个阶段的停顿时间通常会比初始标记阶段稍长一些,但也远比并发标记阶段的时间短;

最后是并发清除阶段,清理删除掉标记阶段判断的已经死亡的对象,由于不需要移动存活对象,所以这个阶段也是可以与用户线程同时并发的。由于在整个过程中耗时最长的并发标记和并发清除阶段中,垃圾收集器线程都可以与用户线程一起工作,所以从总体上来说,CMS收集器的内存回收过程是与用户线程一起并发执行的。

CMS解决办法:增量更新

在应对漏标问题时,CMS使用了增量更新(Increment Update)方法来做:

在一个未被标记的对象(白色对象)被重新引用后,引用它的对象若为黑色则要变成灰色,在下次二次标记时让GC线程继续标记它的属性对象。

但是就算时这样,其仍然是存在漏标的问题:

在一个灰色对象正在被一个GC线程回收时,当它已经被标记过的属性指向了一个白色对象(垃圾)

而这个对象的属性对象本身还未全部标记结束,则为灰色不变

而这个GC线程在标记完最后一个属性后,认为已经将所有的属性标记结束了,将这个灰色对象标记为黑色,被重新引用的白色对象,无法被标记

CMS另两个致命缺陷

CMS采用了Mark-Sweep算法,最后会产生许多内存碎片,当到一定数量时,CMS无法清理这些碎片了,CMS会让Serial Old垃圾处理器来清理这些垃圾碎片,而Serial Old垃圾处理器是单线程操作进行清理垃圾的,效率很低。

所以使用CMS就会出现一种情况,硬件升级了,却越来越卡顿,其原因就是因为进行Serial Old GC时,效率过低。

解决方案:使用Mark-Sweep-Compact算法,减少垃圾碎片

调优参数(配套使用):

-XX:+UseCMSCompactAtFullCollection 开启CMS的压缩

-XX:CMSFullGCsBeforeCompaction 默认为0,指经过多少次CMS FullGC才进行压缩

当JVM认为内存不够,再使用CMS进行并发清理内存可能会发生OOM的问题,而不得不进行Serial Old GC,Serial Old是单线程垃圾回收,效率低

解决方案:降低触发CMS GC的阈值,让浮动垃圾不那么容易占满老年代

调优参数:

-XX:CMSInitiatingOccupancyFraction 92% 可以降低这个值,让老年代占用率达到该值就进行CMS GC

G1回顾

G1(Garbage First)物理内存不再分代,而是由一块一块的Region组成,但是逻辑分代仍然存在。G1不再坚持固定大小以及固定数量的分代区域划分,而是把连续的Java堆划分为多个大小相等的独立区域(Region),每一个Region都可以根据需要,扮演新生代的Eden空间、Survivor空间,或者老年代空间。收集器能够对扮演不同角色的Region采用不同的策略去处理,这样无论是新创建的对象还是已经存活了一段时间、熬过多次收集的旧对象都能获取很好的收集效果。

Region中还有一类特殊的Humongous区域,专门用来存储大对象。G1认为只要大小超过了一个Region容量一半的对象即可判定为大对象。每个Region的大小可以通过参数-XX:G1HeapRegionSize设定,取值范围为1MB~32MB,且应为2的N次幂。而对于那些超过了整个Region容量的超级大对象,将会被存放在N个连续的Humongous Region之中,G1的大多数行为都把Humongous Region作为老年代的一部分来进行看待

G1前置知识

Card Table(多种垃圾回收器均具备)

由于在进行YoungGC时,我们在进行对一个对象是否被引用的过程,需要扫描整个Old区,所以JVM设计了CardTable,将Old区分为一个一个Card,一个Card有多个对象;如果一个Card中的对象有引用指向Young区,则将其标记为Dirty Card,下次需要进行YoungGC时,只需要去扫描Dirty Card即可。

Card Table 在底层数据结构以 Bit Map实现。

RSet(Remembered Set)

是辅助GC过程的一种结构,典型的空间换时间工具,和Card Table有些类似。

后面说到的CSet(Collection Set)也是辅助GC的,它记录了GC要收集的Region集合,集合里的Region可以是任意年代的。

在GC的时候,对于old-》young和old-》old的跨代对象引用,只要扫描对应的CSet中的RSet即可。逻辑上说每个Region都有一个RSet,RSet记录了其他Region中的对象引用本Region中对象的关系,属于points-into结构(谁引用了我的对象)。

而Card Table则是一种points-out(我引用了谁的对象)的结构,每个Card 覆盖一定范围的Heap(一般为512Bytes)。G1的RSet是在Card Table的基础上实现的:每个Region会记录下别的Region有指向自己的指针,并标记这些指针分别在哪些Card的范围内。这个RSet其实是一个Hash Table,Key是别的Region的起始地址,Value是一个集合,里面的元素是Card Table的Index。每个Region中都有一个RSet,记录其他Region到本Region的引用信息;使得垃圾回收器不需要扫描整个堆找到谁引用当前分区中的对象,只需要扫描RSet即可。

CSet(Collection Set)

一组可被回收的分区Region的集合, 是多个对象的集合内存区域。

新生代与老年代的比例

5% - 60%,一般不使用手工指定,因为这是G1预测停顿时间的基准,这地方简要说明一下,G1可以指定一个预期的停顿时间,然后G1会根据你设定的时间来动态调整年轻代的比例,例如时间长,就将年轻代比例调小,让YGC尽早行。

G1解决办法:SATB

SATB(Snapshot At The Beginning), 在应对漏标问题时,G1使用了SATB方法来做,具体流程:

在开始标记的时候生成一个快照图标记存活对象

在一个引用断开后,要将此引用推到GC的堆栈里,保证白色对象(垃圾)还能被GC线程扫描到(在**write barrier(写屏障)**里把所有旧的引用所指向的对象都变成非白的)。

配合Rset,去扫描哪些Region引用到当前的白色对象,若没有引用到当前对象,则回收

SATB详细流程

SATB是维持并发GC的一种手段。G1并发的基础就是SATB。SATB可以理解成在GC开始之前对堆内存里的对象做一次快照,此时活的对像就认为是活的,从而开成一个对象图。

在GC收集的时候,新生代的对象也认为是活的对象,除此之外其他不可达的对象都认为是垃圾对象。

如何找到在GC过程中分配的对象呢?每个region记录着两个top-at-mark-start(TAMS)指针,分别为prevTAMS和nextTAMS。在TAMS以上的对象就是新分配的,因而被视为隐式marked。

通过这种方式我们就找到了在GC过程中新分配的对象,并把这些对象认为是活的对象。

解决了对象在GC过程中分配的问题,那么在GC过程中引用发生变化的问题怎么解决呢?

G1给出的解决办法是通过Write Barrier。Write Barrier就是对引用字段进行赋值做了额外处理。通过Write Barrier就可以了解到哪些引用对象发生了什么样的变化。

mark的过程就是遍历heap标记live object的过程,采用的是三色标记算法,这三种颜色为white(表示还未访问到)、gray(访问到但是它用到的引用还没有完全扫描)、back(访问到而且其用到的引用已经完全扫描完)。

整个三色标记算法就是从GC roots出发遍历heap,针对可达对象先标记white为gray,然后再标记gray为black;遍历完成之后所有可达对象都是balck的,所有white都是可以回收的。

SATB仅仅对于在marking开始阶段进行“snapshot”(marked all reachable at mark start),但是concurrent的时候并发修改可能造成对象漏标记。

对black新引用了一个white对象,然后又从gray对象中删除了对该white对象的引用,这样会造成了该white对象漏标记。

对black新引用了一个white对象,然后从gray对象删了一个引用该white对象的white对象,这样也会造成了该white对象漏标记。

对black新引用了一个刚new出来的white对象,没有其他gray对象引用该white对象,这样也会造成了该white对象漏标记。

SATB效率高于增量更新的原因?

因为SATB在重新标记环节只需要去重新扫描那些被推到堆栈中的引用,并配合Rset来判断当前对象是否被引用来进行回收;

并且在最后G1并不会选择回收所有垃圾对象,而是根据Region的垃圾多少来判断与预估回收价值(指回收的垃圾与回收的STW时间的一个预估值),将一个或者多个Region放到CSet中,最后将这些Region中的存活对象压缩并复制到新的Region中,清空原来的Region。

G1会不会进行Full GC?

会,当内存满了的时候就会进行Full GC;且JDK10之前的Full GC,为单线程的,所以使用G1需要避免Full GC的产生。

解决方案:

加大内存;

提高CPU性能,加快GC回收速度,而对象增加速度赶不上回收速度,则Full GC可以避免;

降低进行Mixed GC触发的阈值,让Mixed GC提早发生(默认45%)

编辑:jq

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表德赢Vwin官网 网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • cpu
    cpu
    +关注

    关注

    68

    文章

    10854

    浏览量

    211568
  • cms
    cms
    +关注

    关注

    0

    文章

    59

    浏览量

    10964
  • JVM
    JVM
    +关注

    关注

    0

    文章

    158

    浏览量

    12220

原文标题:带颜色的 JVM:三色标记详解

文章出处:【微信号:LinuxHub,微信公众号:Linux爱好者】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    JTW90215如何一键实现三色无极调光?

    JTW90215是一颗单键三色无极调光电容触摸芯片,具有高灵敏度,触摸响应快,默认输出低电平,循环输出模式。可用于化妆镜,台灯等领域,其在防水抗干扰方面具有优异的表现。管脚定义应用电路功能描述触摸
    的头像 发表于 12-11 17:14 142次阅读
    JTW90215如何一键实现<b class='flag-5'>三色</b>无极调光?

    一文分析分析三色调光台灯的电路原理

    这个电路,出自一款在某电商平台卖爆了的LED台灯。 价格便宜,功能简单实用: 所谓三色调光,是指支持种灯光颜色,同时支持光的亮度调节。 下面用张gif动图感受一下是怎么操作的。 1
    的头像 发表于 11-29 09:28 1840次阅读
    一文分析分析<b class='flag-5'>三色</b>调光台灯的电路原理

    【星闪派物联网开发套件体验连载】核心板三色

    接上文【星闪派物联网开发套件体验连载】开发环境搭建 核心主板W63E通过GPIO 5脚与SK6812 三色灯 DI相连 SK6812 三色灯 资料: `fbb_ws63SDK包含此三色灯程序,将
    发表于 10-07 09:40

    led灯突然一种颜色不亮的原因及解决办法

    当双LED灯突然一种颜色不亮时,可能的原因有多种,以下是一些可能的原因及相应的解决方法:
    的头像 发表于 10-01 17:15 2257次阅读

    从原理聊JVM(一):染色标记垃圾回收算法

    导读 JAVA简单易用的特性,能够让研发人员在不了解JVM的底层运行机制的情况下依旧能够编写出功能完善的代码。 但是对JVM的理解,是一个程序员普通和优秀的分水岭。全面地了解JVM的工作原理,能够
    的头像 发表于 08-20 15:25 226次阅读
    从原理聊<b class='flag-5'>JVM</b>(一):染色<b class='flag-5'>标记</b>和<b class='flag-5'>垃圾</b><b class='flag-5'>回收</b>算法

    OPT4048 高速高精度三色 XYZ 颜色传感器数据表

    德赢Vwin官网 网站提供《OPT4048 高速高精度三色 XYZ 颜色传感器数据表.pdf》资料免费下载
    发表于 08-12 10:46 0次下载
    OPT4048 高速高精度<b class='flag-5'>三色</b> XYZ <b class='flag-5'>颜色</b>传感器数据表

    智能垃圾回收箱功能实验

    需要系统地介绍智能垃圾回收箱软件硬件设计完成后的设备运行状况,包括正常工作和问题调试。同时,也要描述当所有设备正常工作时智能垃圾回收箱的操作流程。01硬件模块的试验在智能
    的头像 发表于 05-24 08:10 442次阅读
    智能<b class='flag-5'>垃圾</b><b class='flag-5'>回收</b>箱功能实验

    Vidda C2系列三色激光投影机获TÜV莱茵高画质和护眼相关验证声明

    上海2024年5月9日 /美通社/ -- 近日,国际独立第方检测、检验和认证机构德国莱茵TÜV大中华区(简称"TÜV莱茵")为海信旗下Vidda C2系列三色激光投影机,包括VL7N-ULTRA
    的头像 发表于 05-10 15:14 572次阅读

    垃圾中转站无人值守物联网解决方案

    收集点的垃圾,进行分类分拣与处理回收,随后再转运到焚烧厂、填埋场或回收站等进行最终处理。随着各种智能装备的加入,如压滤设备、污水处理设备、废气净化设备等,为垃圾中转提供高效率低成本的工
    的头像 发表于 04-19 11:22 698次阅读
    <b class='flag-5'>垃圾</b>中转站无人值守物联网解决方案

    智能垃圾回收箱系统软件设计

    智能垃圾回收箱自动分拣、智能感知智能垃圾回收箱是物联网设备,通常支持联网和与手机应用程序进行交互等功能。这些功能需要可靠的云平台支持,因此选择合适的云平台至关重要。物联网平台选择机智云
    的头像 发表于 04-19 08:10 528次阅读
    智能<b class='flag-5'>垃圾</b><b class='flag-5'>回收</b>箱系统软件设计

    智能垃圾回收箱控制系统硬件设计

    智能高效远程控制智能垃圾回收箱控制系统硬件部分的选型与设计是整个产品的基础,所有功能的实现都要围绕其进行开发。本章对智能垃圾回收箱控制系统的硬件进行详细设计。智能
    的头像 发表于 04-13 08:10 835次阅读
    智能<b class='flag-5'>垃圾</b><b class='flag-5'>回收</b>箱控制系统硬件设计

    智能垃圾回收箱及其控制系统

    智能高效远程控制智能垃圾回收箱本文设计了基于机械传动、嵌入式系统和物联网技术的智能垃圾回收箱及控制系统,包括结构、硬件和软件设计,以及基于机智云后台服务器的操作系统,实现了用户信息识
    的头像 发表于 04-13 08:10 1207次阅读
    智能<b class='flag-5'>垃圾</b><b class='flag-5'>回收</b>箱及其控制系统

    基于机智云物联网平台的智能垃圾回收箱与控制系统研究

    桶满时,可取出并运往公司处理。箱体配备四种回收物投放口的控制按键,前面有扫码装置用于身份确认。中间的显示屏显示运行状态,并实时反馈投放信息给居民。顶部摄像头监控投放情况,防止盗窃。智能垃圾回收箱的
    发表于 04-09 17:25

    消防员偏爱FLIR K系列热成像仪的大关键原因

    由于消防现场需要选择简单可靠的设备,所以FLIR K系列热像仪只用红色、橙色和黄色三种颜色显示温度信息,这种简化的三色格式便于消防员快速准确地判断危险等级,让消防员准确识别比周围环境更热的区域。
    发表于 02-21 17:14 376次阅读
    消防员偏爱FLIR K系列热成像仪的<b class='flag-5'>三</b>大关键原因

    星发布全球首款无线8K投影仪,采用三色激光DLP显示技术,配置8K分辨率

    这款无线8K投影机采用三色激光DLP显示模块,亮度高达4,000流明,支持Wi-Fi 7的One Connect Box,允许在10米内无线传输8K影像至投影机,且仅需12英寸(约304.8毫米)便能投射出150英寸大屏。
    的头像 发表于 01-08 14:45 1835次阅读