本篇post主要记录本人在阅读bert官方源码的run_squad.py文件时的一些理解与思考。
PyTorch使用笔记
常见的RNN结构
LDA(Latent Dirichlet Allocation)是一种文档主题生成模型，也称为一个三层贝叶斯概率模型，包含词、主题和文档三层结构。所谓生成模型由如下假设而来：一篇文章的每个词都是通过这样的过程生成而来：先按某种概率分布选择某个主题，再从该主题中按某种概率分布选择某个词。 文档到主题服从多项式分布，主题到词服从多项式分布。
谷歌colab 查看OS版本
集成(ensemble)学习通过构建并结合多个学习器来完成学习任务。为了使集成后的学习器获得更好的性能，个体学习器在保证一定的准确性(不用过高，但不能太低)的同时，还需具有一定的多样性。即个体学习器要“好而不同”。 根据个体学习器的生成方式，集成学习大致分为两大类。 Bagging(Bootstrap aggregating 引导聚集) 个体学习器间不存在强依赖关系，可并行化地生成 用于减少方差 Boosting 个体学习器间存在强依赖关系，必须串行化地生成。具体算法有AdaBoost、GBM、GBDT、XGBoost、LightGBM等 用于减少偏差
推荐系统已广泛应用在诸多领域中。在社交网络中，可推荐志趣相投的朋友；在金融市场，可推荐适合自己的股票基金等理财产品；在婚恋市场中，可推荐适合自己的另一半。通过推荐系统，还可根据自己的喜好推荐个性化的新闻、视频、音乐、图书、游戏、食品、衣物等。因此，推荐系统具有极大的潜在价值。亚马逊就是通过引入推荐系统后，极大提高了用户活跃度及市场销售额。
概述 K-means是一种聚类(模型)算法，属于非监督学习。对于给定的样本集，按照样本之间的距离大小，将样本集划分成$K$(事先确定的超参数)个互不相交的子集，每个子集称为一个簇(cluster)，簇中的每个样本有着相似的特征，这个相似特征以簇的中心点表示。K-means常用于用户分群、行为聚类、图像分割等情形。
以Spring Boot框架为载体，通过集成hanLP、neo4j、spark-mllib实现基于电影知识图谱的简易问答系统。
resources for the paper 'Get To The Point: Summarization with Pointer-Generator Networks' with python3.x. overview on the post http://www.abigailsee.com/2017/04/16/taming-rnns-for-better-summarization.html or
个人博客
transformer xl在中文文本生成上的尝试（效果意外的好，可写小说、古诗）（transformer xl for text generation of chinese）
CNN-RNN中文文本分类，基于TensorFlow