- FaceNet: A Unified Embedding for Face Recognition and Clustering
在相关性中遇到了triple loss ，所以看下这篇论文。这是人脸识别领域的重要论文。该论文的方法是将人脸的图片经过cnn编码成向量，每次训练有三个向量Anchor、Positive、Negative，其中anchor和positive是同一张脸，而anchor和negative不是同一张脸，triple loss 让anchor和positive的欧式距离尽可能接近，让anchor和negative的欧式距离尽可能远离。论文讨论了怎么组训练的向量、模型结构的影响、维度的影响、图片质量的影响等。了解到这种将信号映射到某个隐空间的进行度量方法叫做度量学习（Metric Learning） - Deep Learning Face Representation by Joint Identification-Verification
读第一篇文章的时候顺便看了一眼这篇文章，与第一篇文章不同的是作者将人脸识别问题看作一个分类问题，为了让相同类别之际向量相似，不同类别之间向量不同，作者加了一个与正则项。或许就是这个正则项启发了第一篇文章的工作。 - SPECTER: Document-level Representation Learning using Citation-informed Transformers
是做论文的embeding，思路是采用论文的题目和摘要过scibert得到cls向量，再通过论文间的引用做triple loss 正例是论文有引用的其它论文，负例是没有引用的论文，为了加大任务的难度负例采用的是这篇论文没有引用，但是这篇论文引用的论文引用了的论文。感觉思路跟w2v很像，就是利用的文章的相互引用为纽带，并且用了bert这个强大的特征提取器。 - SCIBERT: A Pretrained Language Model for Scientific Text
用sci论文预训练的bert - VL-BERT: PRE-TRAINING OF GENERIC VISUALLINGUISTIC REPRESENTATIONS
图像和文本的多模态预训练