大模子学习条记------SAM模子详解与思考

    SAM模子是Meta 提出的分割齐备模子（Segment Anything Model，SAM）突破了分割边界，极大地促进了盘算机视觉根本模子的发展。SAM是视觉大模子中里程碑级别的算法。
1、SAM框架概述

    SAM团体框架如下所示：

    SAM模子最告急的贡献就是彻底改变盘算机视觉和分割范畴传统架构，它的团体架构告急包罗三部分
：

• 任务(task)：通过4种方式的prompts（即points、box、mask、text）来生身分割结果，但是在实际代码中并没有text方式举行文本输入。
  
• 模子(model)：接纳prompt encoder、image encoder和lightweight mask decoder模块来实现mask的天生，此中，lightweight mask decoder完成prompts特性与图像特性的融合。
  
• 数据集(data)：： 依赖交互式标注以及数据自动/半自动标注来迭代出Segment Anything数据集。
  

2、Segment Anything Task

    SAM模子的灵感来自于NLP 。在 NLP 中，下一个标记猜测任务被用于根本模子的预练习，并通过提示工程（prompt engineering）办理各种卑鄙任务。用于分割的根本模子也应该是一个具有雷同本领的任务。
    基于prompt的分割任务就是在给出任何prompt的环境下，返回一个有效的分割掩码。对 "有效 "mask的要求简朴来说，纵然prompt暗昧其词，大概指向多个对象（见图 3），输出的mask至少也应该是一个公道的mask。

3、Segment Anything Model

    整个Model的表明我放在了布局图中，详细如下所示。