(Arxiv, 2020)Funnel-Transformer: Filtering out Sequential Redundancy for Efficient Language Processing

Under review的preprint paper.

本文工作：

1. 设计了一个新的Transformer结构，其处理序列能够逐步缩短（抽象），减少计算代价，在sequence级别的任务上取得了较好的效果。
2. 通过设计了一个decoder结构，能够为每个token都给出一个最终表示，使得模型在token级别的任务上也能work。

(ACL, 2020)SKEP: Sentiment Knowledge Enhanced Pre-training for Sentiment Analysis

本文工作：

1. 通过在BERT的预训练中引入情感知识，提高模型在Sentence-level Sentiment Classification、Aspect-level Sentiment Classification、Opinion Role Labeling上的效果。
2. 设计了三个不同的loss，同时优化。

看论文的过程中看到过多次Factorization Machine(FM)和相关的方法，却一直没有去具体了解一下。这次读了相关的paper和资料，记一下理解。该系列的方法还挺多的，这里主要只看了FM、Wide&Deep和DeepFM模型，FFM等模型没有关注。

在看西瓜书中线性回归模型的最小二乘参数估计的部分时，看到了对矩阵的求导运算。这部分以前没有学过，所以学习整理一下。这篇文章主要是基于对Wiki上的Matrix calculus的理解，但了解不深，要深入理解还是需要去看Wiki上的原文。

聚类(Clustering)

聚类是一种无监督学习问题，它的目标是训练没有标签的数据，并把数据分为几个不同的分类，每个分类是一个簇(Cluster)。 目前，K-均值(K-means)算法是一种最常用的聚类算法。