Song Blog

Thinking will not overcome fear but action will.

Literature Review

Domain Adaptation for Sementic Segmentation

Introduction Domain adaptation is a particular case of transfer learning that utilizes labeled data in one or more relevant source domains to execute new tasks in a target domain.Cited from “De...

Posted by Song on April 8, 2020

Distilling the Knowledge in a Neural Network

Distilling the Knowledge in a Neural Network

Introduction 核心的观点就是训练的时候我们希望模型越大能力越强越好，因为大模型可以很轻易的从数据集中获取到想要的信息，并且我们还会用一些方法来把多个训练的模型集成在一起进行预测，这样也能够使得预测的结果更加精确，但是在部署的时候，我们却因为计算能力的限制希望模型越小越好。因此本文提出了模型蒸馏，意思是把训练好的复杂的大模型迁移到部署的小模型上面。核心...

Posted by Song on February 8, 2020

Unsupervised Pixel–Level Domain Adaptation with Generative Adversarial Networks

A pixel level domain adaptation method

Posted by Song on January 16, 2020

Learning to Adapt Structured Output Space for Semantic Segmentation

A adversarial domain adaptation method for sementic segmentation

Introduction 新年第一篇吧，一篇经典的用对抗训练来做segmentation问题的domain adaptation的文章首先介绍了分割问题的domain shift，这个是因为不同的城市数据集的物体和场景的分布不同，这个主要是由于天气和光照情况的变化。如果要对每一个城市的数据集都重新标注的话，就费时费力，所以提出了分割任务的domain adaptation问题。 dom...

Posted by Song on January 15, 2020

MoCo

Momentum Contrast for Unsupervised Visual Representation Learning

Introduction 学术追星，kaiming亲自挂一作的文章。先介绍一下无监督的特征学习，这个是NLP中比较成功的概念了，但是视觉领域因为图像的维度太高等问题还有待发展。这篇文章讲的特征学习的方式就是利用无监督的方法来学习提取特征的方式，举个例子，使用resnet50训练的时候，得到的结果就是最后那个1000维fc前面那个128维的fc，也就是学习了一种把图片encode成12...

Posted by Song on November 25, 2019

YOLACT

Real-time Instance Segmentation

Introduction 首先这个文章关注的是real-time的实例分割任务，所以主要是针对Mask-RCNN two stage并且还要在进行ROI Pool/Align在进行分割导致速度过慢的问题，本文提出了一种并行的one-stage的方法。在COCO数据集上（550*550）使用一张卡达到了33fps并且保持了29.8的mAP Method 文章的方法很简单，将实例分割任务分为两...

Posted by Song on November 18, 2019

Leetcode 238

Product of Array Except Self

Description Given an array nums of n integers where n > 1, return an array output such that output[i] is equal to the product of all the elements of nums except nums[i]. Example: Input: [1, 2,...

Posted by Song on November 18, 2019