推荐系统前数据处理,工资系统的数据处理流程

数字生活让人多疑。就在你跟微信上的朋友说要去日本玩的时候，看到朋友圈里的机票广告。就在你老婆打电话给你买奶粉后，你在淘宝上看到了奶粉推荐。这些广告是怎么来的？为什么这些app知道你想买什么？淘宝当然不会偷听你的电话。是你的行为数据让淘宝意识到你需要婴儿奶粉。注册账户需要输入姓名、手机号码，有时还需要添加性别和所在地。

更重要的是，你的消费记录，打车频率，你关注的微信官方账号，你玩过的游戏，理财习惯，你有没有车贷或房贷，你有没有买保险，你发过的红包，最终都会成为成千上万的事实标签，成为你行为数据的一部分。收集事实标签不难，难的是建立模型，从杂乱的标签中找到自己真正的兴趣，进而建立用户画像。比如你打开一篇内容标签为美女的文章，并不代表你真的爱看美女，可能只是不小心点了一下。

数据处理数据分析第一。一般来说，计算机获取数据后，首先要对数据进行处理，去掉脏数据，然后再对数据进行分析。这种数据分析曾经有过权威的信。数据处理在前面，数据分析在后面。数据处理是对数据(数值型和非数值型)进行分析和处理的技术过程。包括对各种原始数据的分析、整理、计算、编辑等加工处理。数据处理的基本目的是从大量的数据中心中提取并推导出对某些特定人群有价值、有意义的数据，这些数据可能是混乱的、难以理解的。

我们知道，一个互联网应用按照分工可以分为前端和后端。前端主要负责数据调用和页面显示渲染，后端主要负责数据处理。这里可能有很多人认为做前端比做后端容易，但事实并非如此。说到前端，以前只负责界面渲染(通俗点说就是“Cutter”)和一些JS验证和效果实现，但是随着这几年技术的发展，前端也有了翻天覆地的变化。

什么是“大前端”？大前端是在传统前端的基础上，针对后端的。大前端可以理解为前端领域的升级和拓展。以前前端排好页面后，还要交给后端进行模板填充。当时的“前端与后端分离”并不彻底。在“大前端”模式下，前后端的分离比较彻底。大前端的特点主要包括:终端多样式:除了传统的WEB、WAP终端，还有iOS、Android、H5、小程序、微信官方账号等新型终端。

推荐系统就是把“正确的”内容推送给“正确的”人。具体是指推送“信息”(包括图片、视频等。)根据“人的兴趣”(兴趣可以通过用户在页面上的点击习惯、页面浏览时间、喜欢和收藏等行为数据来表达)来给人。把人找信息的想法变成信息找人的想法。推荐是基于用户行为数据进行数据挖掘的结果。

数据包括:足够多的用户，足够多的行为数据，足够多的内容。推荐的目标是提高正反馈，减少负反馈，延长使用时间，增加用户粘性，算法核心:给用户推荐和这个用户相似的用户喜欢的内容。如下图所示，用户A和用户B都喜欢视频A、视频B和视频D，所以认为用户A和用户B是相似用户，会把用户B喜欢的视频c 推荐给用户A，算法核心:给用户推荐那些与自己喜欢的内容相似的内容。