目前的NLP任务中，我们对于词汇表的处理通常是直接按词频截断，但这种方法并不一定科学，理论上，词的重要程度应该是遵循某种分布的（自然界的东西大都遵循某种分布），使用变分估计可以估计出样本的分布。本文提出了一个称为变分dropout的方法，使用变分法估计词的重要性分布，并选择性的划分词表，结果表明，相比直接对词表按阈值划分，这种划分方法效果更好。
（这篇论文阅读于2020年5月，GCN的几个方向被否后，导师让我自己找别的方向，因为疫情的原因并没有开学，所以只能在家自己摸索一下，我看了一下倒腾了一下这篇论文。本论文发表于ACL 2019）
如果你拿python的list实现那几种常见的排序算法，你会发现数据结构书上的一些结论并不成立，这一点与python的list底层实现有关。
seq2seq模型的decoder的起始输入总是<START>标记，这个标记仅用于启动decoder的循环输入输出，而没有提供任何其他的有效信息，理论上，如果能通过<START>向decoder提供某些信息，那么理论上应该可以改善seq2seq的性能，这个实验基于这个假设展开。
（本实验进行于2020年4月。顺便这个实验也被否了）
本模型是个seq2seq模型，用Text-GCN做编码器，GRU做解码器的多tag推荐模型，结果比itag好，但是被导师以创新性不够否了，最后没能发论文，这里就简单做一下介绍，放一下结果。
（本实验进行于2020年3月）
本文是一篇使用GCN进行文本分类的文章，发表在AAAI 2019上，其主要创新点是提出了一种使用GCN对文本进行编码的方式，可以借鉴到多tag推荐任务上。
和之前的论文阅读博文一样，写的东西会有大量我个人的加工，如果看了之后觉得有点兴趣建议去阅读原文。
（这篇论文在2020年2月左右阅读）
graphSAGE的论文，折腾GCN的人必读一篇论文。GCN计算需要完整图结构，既消耗硬件资源、也没法进行mini-batch学习。
本论文提出了graphSAGE模型，其核心思想是，通过对学习过程进行采样，近似完成GCN的计算过程，从而可以分批采样以达到进行batch学习的目的。另外对于图中新增的节点，只需要对新添加的节点进行采样学习即可。
（这篇论文在2020年1月左右阅读）
由于被GCN需要塞入整张图才能计算的特性卡住（为什么我们没有V100？），我当时开始寻找解决方案，一个方向是去寻找GCN的min-batch实现，GCN已经出现几年了不可能没人解决这个问题。另一个方向是考虑从文档图中提取独立的子图，因为如果能抽取出独立子图，就可以单独对子图进行计算。
（这部分实验进行于2019年12月左右）
本论文使用一个GCN-RNN的encoder-decoder模型，通过新闻自动生成新闻评论。
itag的一个问题在于，它只利用到了文档本身的信息，而没有利用到文档之间的关系信息。这段工作的重点是使用GCN改良itag，因为GCN能利用文档间的信息。所以阅读了这篇论文
（这篇论文在2020年2月左右阅读）
我之所以开始研究GCN是为了用GCN改良itag，而itag本质上是个seq2seq模型。因此我尝试了使用GCN改良一个最简单的单层seq2seq模型。
（这个实验大约进行于2019年11月）
大名鼎鼎的GCN的论文，由于这篇论文相当的出名，并且有很多大手子的详细的解读，我就不在这里班门弄斧，摆公式列理论啥的分析论文了，仅仅写一些个人的理解。
阅读这篇论文的时间点大概是在2019年11月左右，当时ITAG的改进方案没有头绪，导师让我尝试一下将GCN塞到ITAG的中去，理由是itag只利用了文本本身的信息，而GCN利用了数据之间的结构信息，因而如果能同时利用这两个信息，应该能提升tag推荐的效果。