〖课程介绍〗:
-
课程结合算法原理，利用Spark 2.x 和主流技术栈，通过Flume多级高可用日志收集用户行为，使用HBase特征向量存储，利用算法原理结合Spark和Storm进行离线和实时推荐，实现图书电商场景下的个性化推荐系统。
-
〖课程目录〗:
-
第1章 课程介绍与学习指南 3 节 | 7分钟
-
本节主要进行课程的介绍，学习路线与指南，如何更好的学习本课程？为什么要学习本课程，学习本课程具体能收获什么？
-
视频：1-1 课程介绍及导学 (06:32)
-
图文：1-2 怎么更好的使用慕课平台
-
图文：1-3 你真的会问问题吗？
-
第2章 了解推荐系统的生态 5 节 | 53分钟
-
本章带你了解推荐系统的生态，让你从思维上重塑对推荐系统的认知。了解推荐系统是由哪些关键元素支撑的，推荐算法的分类以及什么才算一个好的推荐系统
-
图文：2-1 本章重难点提点
-
视频：2-2 推荐系统的关键元素和思维模式 (11:49)
-
视频：2-3 推荐算法的主要分类 (14:07)
-
视频：2-4 推荐系统常见的问题 (09:05)
-
视频：2-5 推荐系统效果评测 (17:55)
-
第3章 给学习算法打基础 3 节 | 30分钟
-
本章回顾并梳理了学习算法必需的数学知识和统计学知识，帮助大家巩固基础，平滑过渡，为后面学习推荐算法做铺垫。
-
图文：3-1 本章重点难点提点
-
视频：3-2 推荐系统涉及的数学知识 (11:25)
-
视频：3-3 推荐系统涉及的概率统计知识 (17:58)
-
第4章 详解协同过滤推荐算法原理12 节 | 165分钟
-
本章介绍推荐算法中最常用也最受欢迎的协同过滤推荐算法。首先巩固学习协同过滤特有的数学基础，然后分别从推荐算法的三个类型：基于用户，基于物品，基于模型来展开，并且对它们进行代码演示。
-
图文：4-1 本章重点难点提点
-
视频：4-2 本章作业 (04:17)
-
视频：4-3 协同过滤的数学知识：最小二乘法 (15:01)
-
视频：4-4 协同过滤的数学知识：梯度下降法 (23:55)
-
视频：4-5 协同过滤的数学知识：余弦相似度 (14:09)
-
视频：4-6 什么是user-based的协同过滤 (15:26)
-
视频：4-7 基于Spark实现user-based协同过滤 (14:12)
-
视频：4-8 什么是item-based协同过滤 (16:32)
-
视频：4-9 基于Spark实现item-based协同过滤 (13:03)
-
视频：4-10 基于模型的协同过滤 (04:49)
-
视频：4-11 基于矩阵分解模型的两种算法：SVD和PMF (18:49)
-
视频：4-12 缺失值填充 (24:39)
-
第5章 Spark内置推荐算法ALS原理3 节 | 37分钟
-
本章讲解Spark内置的推荐算法：ALS。从算法原理、Spark上实现、源码阅读，这3个方面全面讲解ALS算法。
-
视频：5-1 ALS 算法原理 (05:52)
-
视频：5-2 ALS 算法在Spark上的实现 (18:51)
-
视频：5-3 ALS 算法在 Spark 上的源码分析 (11:28)
-
第6章 推荐系统搭建——需求分析和环境搭建5 节 | 30分钟
-
开始进行推荐系统的实操了！大家准备好了吗？这章我们进行对整个推荐系统做一个需求分析。并且手把手带领环境搭建。
-
图文：6-1 本章重点难点提点
-
视频：6-2 项目需求分析 技术分解 模块设计 (04:43)
-
视频：6-3 开发环境搭建 (19:13)
-
视频：6-4 环境问题 工具问题 版本问题 (05:44)
-
图文：6-5 【实操手册】环境搭建文档 ( 完善版 )
-
第7章 推荐系统搭建——UI界面模块4 节 | 53分钟
-
先从简单内容起步，一般大数据开发工程师主要负责数据的收集和分析，这里为了演示方便我们制作了简单的前端页面，使用了 VUE、Element-UI和EChatrs
-
视频：7-1 VUE+ElementUI简单入门 (14:08)
-
视频：7-2 用户访问页面实现 (11:48)
-
视频：7-3 AB Test 控制台页面（上） (13:24)
-
视频：7-4 AB Test 控制台页面（下） (13:23)
-
第8章 推荐系统搭建——数据层6 节 | 88分钟
-
做好前期准备，终于步入正轨了，大家是不是都按耐不住了？本章将带领大家开发项目的数据层的部分，分别实现数据采集、清洗、分析等功能。
-
视频：8-1 数据上报（上） (18:07)
-
视频：8-2 数据上报（下） (13:57)
-
视频：8-3 日志清洗和格式化数据（上） (17:13)
-
视频：8-4 日志清洗和格式化数据（中） (15:28)
-
视频：8-5 日志清洗和格式化数据（下） (15:07)
-
视频：8-6 分析用户行为和商品属性 (07:30)
-
第9章 推荐系统搭建——推荐引擎11 节 | 188分钟
-
本章将要介绍本次项目的重难点，推荐引擎模块的搭建。主要讲解推荐模块的几个核心：召回，过滤，特征计算和排序。逐步完成实时推荐架构的搭建。
-
视频：9-1 基于用户行为构建评分矩阵 (09:52)
-
视频：9-2 离线推荐：基于用户角度召回策略筛选候选集（上） (22:20)
-
视频：9-3 离线推荐：基于用户角度召回策略筛选候选集（下） (21:57)
-
视频：9-4 离线推荐：基于物品角度召回策略筛选候选集（上） (23:11)
-
视频：9-5 离线推荐：基于物品角度召回策略筛选候选集（下） (21:55)
-
视频：9-6 离线推荐：写特征向量到HBase (07:13)
-
视频：9-7 离线推荐：基于模型的排序 (12:22)
-
视频：9-8 实时推荐：Storm解析用户行为 (17:04)
-
视频：9-9 实时推荐：通过FTRL更新特征权重-原理 (13:33)
-
视频：9-10 实时推荐：通过FTRL更新特征权重-代码实现 (26:06)
-
视频：9-11 离线推荐和实时推荐项目梳理 (12:07)
-
第10章 推荐系统搭建——推荐结果存储3 节 | 30分钟
-
本章演示个性化推荐系统的评估模块的搭建。主要是介绍主流的测试模块A/B测试，逐步开发搭建一个完整的A/B测试后台
-
视频：10-1 数仓ODS和DWD层搭建 (09:23)
-
视频：10-2 搭建用户行为日志数据仓库 (10:17)
-
视频：10-3 利用外部分区表存储用户行为 (09:43)
-
第11章 推荐系统搭建——推荐效果评估模块5 节 | 48分钟
-
本章演示个性化推荐系统收尾环节，评估模块的搭建。主要介绍主流的测试模块A/BTest，逐步搭建一个完整的A/B测试后台
-
视频：11-1 AB Test (05:12)
-
视频：11-2 AB Test的分流管理 (06:26)
-
视频：11-3 搭建AB Test 实验控制台（上） (18:01)
-
视频：11-4 搭建AB Test 实验控制台（下） (11:57)
-
视频：11-5 常用评测指标 (05:37)
-
第12章 知识拓展——基于关联规则的推荐算法5 节 | 75分钟
-
本章讲解两个主要的关联规则推荐算法，Apriori和FP-Growth，并通过Spark去演示这两个算法的实现。
-
视频：12-1 基于Apriori的关联算法 (07:17)
-
视频：12-2 基于Spark实现Apriori算法（上） (18:24)
-
视频：12-3 基于Spark实现Apriori算法（下） (21:52)
-
视频：12-4 基于FP-Growth的关联算法 (13:09)
-
视频：12-5 基于Spark实现FP-Growth算法 (13:26)
-
第13章 知识拓展——基于机器学习的推荐算法3 节 | 27分钟
-
本章主要讲解主流的基于机器学习的推荐算法。首先介绍RBM随机网络原理，接着分别展示基于 RBN、CNN、RNN的推荐算法，演示如何实现。
-
视频：13-1 RBM神经网络 (06:02)
-
视频：13-2 CNN卷积神经网络 (08:41)
-
视频：13-3 RNN循环神经网络 (11:34)
-
第14章 知识拓展——基于内容的推荐算法3 节 | 39分钟
-
本章主要介绍主流的基于内容的推荐算法，分别介绍TF-IDF算法、文本向量化、用户行为向量化和长期模型。最后对所有算法知识以及课程项目进行一个总结和展望。
-
视频：14-1 文本向量化 (09:54)
-
视频：14-2 基于Spark实现TF-IDF (16:29)
-
视频：14-3 课程总结 (12:01)
有需要联系v；加客服窗口的联系方式
摘要：本文深入探讨了基于Spark2.x开发企业级个性化推荐系统的过程。首先，介绍了Spark2.x在推荐系统中的应用优势；其次，详细阐述了系统架构设计、数据预处理和推荐算法实现；最后，通过实际案例分析了系统性能和效果。本文旨在为开发者提供一套完整的个性化推荐系统开发方案。
1、系统架构设计
个性化推荐系统采用分布式架构，基于Spark2.x进行开发。系统主要由数据采集模块、数据预处理模块、推荐算法模块和用户界面模块组成。数据采集模块负责从各种渠道收集用户行为数据；数据预处理模块对原始数据进行清洗、转换和集成；推荐算法模块根据用户行为数据生成个性化推荐结果；用户界面模块则负责展示推荐结果，并提供用户交互功能。
系统架构设计遵循以下原则：高可用性、可扩展性和高性能。通过分布式计算，系统可以处理海量数据，满足大规模推荐需求；采用微服务架构，便于系统模块的独立开发和部署；利用Spark2.x的弹性调度机制，系统可以根据负载动态调整资源，保证系统稳定运行。
此外，系统还具备良好的兼容性，可以与现有业务系统无缝集成，降低开发成本。
2、数据预处理
数据预处理是推荐系统开发的关键环节，主要包括数据清洗、特征提取和数据集成。数据清洗旨在去除噪声数据，提高数据质量；特征提取从原始数据中提取有价值的信息，为推荐算法提供支持；数据集成则将来自不同渠道的数据进行整合，形成统一的数据视图。
在数据预处理过程中，采用以下技术手段：数据清洗采用MapReduce编程模型，实现并行处理；特征提取利用Spark MLlib库中的机器学习算法，如TF-IDF、Word2Vec等；数据集成采用Spark SQL进行数据查询和转换。
通过数据预处理，系统可以获取高质量、高可用性的数据，为推荐算法提供有力支持。
3、推荐算法实现
推荐算法是推荐系统的核心，根据用户行为数据生成个性化推荐结果。本文采用协同过滤算法、基于内容的推荐算法和混合推荐算法三种方法进行实现。
协同过滤算法通过分析用户之间的相似度，为用户推荐相似用户喜欢的商品；基于内容的推荐算法根据用户的历史行为和商品特征，为用户推荐相关商品；混合推荐算法结合协同过滤和基于内容的推荐算法，提高推荐准确率。
在实现过程中，采用以下技术手段：协同过滤算法利用Spark MLlib库中的ALS（Alternating Least Squares）算法；基于内容的推荐算法采用Spark MLlib库中的Word2Vec算法；混合推荐算法结合Spark MLlib库中的多种算法进行实现。
4、系统性能与效果分析
本文通过实际案例对基于Spark2.x开发的企业级个性化推荐系统进行性能和效果分析。实验结果表明，该系统在处理海量数据、保证推荐准确率、提高系统性能等方面具有显著优势。
在性能方面，系统采用分布式计算，能够有效处理大规模数据集；在推荐效果方面，通过多种推荐算法的结合，系统具有较高的准确率和覆盖率；在系统稳定性方面，通过弹性调度机制，系统可以适应不同负载，保证稳定运行。
总结：
本文详细阐述了基于Spark2.x开发企业级个性化推荐系统的过程，包括系统架构设计、数据预处理、推荐算法实现和系统性能与效果分析。通过实际案例验证了该系统的可行性和有效性，为开发者提供了一套完整的个性化推荐系统开发方案。
本文由nayona.cn整理
联系我们
关注公众号
微信扫一扫
支付宝扫一扫
