(Arxiv, 2020)Funnel-Transformer: Filtering out Sequential Redundancy for Efficient Language Processing
Under review的preprint paper.
本文工作:
- 设计了一个新的Transformer结构,其处理序列能够逐步缩短(抽象),减少计算代价,在sequence级别的任务上取得了较好的效果。
- 通过设计了一个decoder结构,能够为每个token都给出一个最终表示,使得模型在token级别的任务上也能work。