Paper-1-LightGCL

Posted on Edited on In Word count in article: 1k Reading time ≈ 1 mins.

Update: All the reading notes will be posted on my personal notebook.

受到一位前辈启发，决定从今天开始每天至少精读一篇 paper 并做简单总结记录，以备将来快速检索。论文类型不限，可以是领域内的重要工作，也可以是其他领域的基础工作。目前准备结合自己的需求，先从感兴趣的老师组里的工作开始读起。

记录具体该怎么做还没有完全想好，首先开始坚持做记录，然后再慢慢完善。记录的目的不是重复论文的主要内容，而是简明扼要地结合自己读后的理解，将文章的一些基本情况、主要方法、亮点、缺陷等总结下来

  1. Title: LightGCL: Simple Yet Effective Graph Contrastive Learning for Recommendation
  2. Conference: ICLR'23 International Conference on Learning Representations (Spotlight)
  3. Highlights:
    • 将推荐系统中的 user-item 邻接矩阵做了 SVD 分解，从而实现对邻接矩阵的低秩近似。
    • 在一个两层的 GCN 上，使用重建后的邻接矩阵做图对比学习的增强，减少数据集中噪声的影响。
  4. Dataset:
    • 5 Public Dataset(ML-10M, Amazon, Tmall, Yelp and Gowalla)
  5. Codes: https://github.com/HKUDS/LightGCL
    • 缺少算力没有跑出一致的结果。
    • 代码可读性较差。
    • 实现方法较简单，没有使用值得注意和借鉴的算法。
  6. Inspirations:
    • 简单、新颖、强大的方法。
    • 既提高了算法的效率，又提高了算法的鲁棒性。
    • 在 GCL 的架构上做了一点简单的改进，使用的 Loss 还是 infoNCE，个人理解是相当于互信息，给了一个互信息的下界。
    • 没有详细解释为什么 SVD 近似时 rank 取 5，在 Fig 5 中 rank=2, 5, 8, 10 这几个值时，Yelp 和 Gowalla 超过 5 下降，ML-10M 没有显著变化。是否可以继续对 rank 取值进行理论和实验探究？我记得一般 10% 的秩可以获取到 99% 的原矩阵信息，而使用的数据集中，ML-10M 的邻接矩阵的稠密程度是另外两个的 10 倍以上，所以对 rank 在 5-10 这一范围时不敏感？
    • 精读完这篇文章，发现自己对 Graph-based Recommendation System 还不够熟悉，以前只学过基本的协同过滤等算法。接下来应该学习一些基于图的推荐系统的经典工作。