| 3,748 | 1 | 643 |
| 下载次数 | 被引频次 | 阅读次数 |
本研究针对互联网上影视作品数量的指数级增长,提出一种基于Spark分布式框架的电影推荐系统,以解决日益严重的电影信息过载问题。系统利用Spark平台作为计算框架,通过ALS协同过滤算法构建一个电影推荐模型,并使用MovieLens数据集进行了训练。实验结果表明,该系统可根据用户历史数据和实时动作快速准确预测用户个人喜好,同时也解决了传统推荐系统的数据稀疏性和冷启动问题。
Abstract:To address the exponential growth of online film and television content, this study proposes a Spark-based distributed movie recommendation system to solve the increasingly severe problem of movie information overload. The system adopts Spark as the computing framework, constructing a movie recommendation model through the Alternating Least Squares(ALS) collaborative filtering algorithm, and is trained on the MovieLens dataset. Experimental results demonstrate that the system can accurately and rapidly predict individual users′ preferences based on their historical data and real-time interactions. Furthermore, it effectively resolves data sparsity and cold-start issues in traditional recommendation systems.
[1] 中国互联网络信息中心.第54次《中国互联网络发展状况统计报告[R/OL].[2024-10-18].https://www.cnnic.cn/NMediaFile/2024/0911/MAIN1726017626560DHICKVFSM6.pdf.
[2] 张安淇,李元旭.互联网知识共享平台信息过载效应与弱化机制:基于知乎的案例研究[J].情报科学,2020,38(1):24-29,41.
[3] HEIDARI N,MORADI P,KOOCHARI A.An attention-based deep learning method for solving the cold-start and sparsity issues of recommender systems[J].Knowledge-Based Systems,2022,256:109835.
[4] 张坤.基于Spark机器学习的电影推荐系统的设计与实现[D].南京:南京邮电大学,2022.
[5] 赖丽君.基于Spark框架的电影推荐系统的实现[J].鄂州大学学报,2021,28(2):98-101.
[6] 邓介一,陈兰兰,梁会军.基于Scala的电影推荐系统的设计与实现[J].工业控制计算机,2022,35(5):104-106.
[7] 高梓萱.基于Spark的电影推荐系统的设计与实现[D].保定:河北大学,2024.
[8] 刘念,蔡春花.基于Spark的电影推荐系统的设计与实现[J].软件工程,2023,26(6):59-62,45.
[9] 贾文钢,高锦涛.基于HDFS的海量日志数据冗余点过滤算法仿真[J].计算机仿真,2021,38(12):241-244,249.
[10] 朱本瑞.基于Spark的离线与实时的电影推荐系统设计与实现[D].南京:南京信息工程大学,2022.
[11] 杨浪.基于Spark的电影推荐系统设计与实现[D].北京:北京邮电大学,2021.
基本信息:
DOI:10.16191/j.cnki.hbkx.20250307.001
中图分类号:TP391.3
引用信息:
[1]高双喜,曹淑服,孙永明.基于Spark的电影推荐系统设计与实现[J].河北省科学院学报,2025,42(02):1-5.DOI:10.16191/j.cnki.hbkx.20250307.001.
基金信息:
河北省高等教育教学改革研究与实践项目(2022GJJG608)
2025-03-10
2025-03-10
2025-03-10
