个性化推荐系统(六)--- 超大数量业务个性化实战

小说:网上兼职在家赚钱作者:文密成开更新时间:2018-11-20字数:24641

“恶魔绝技·献祭。”尤迪安知道自己生死存亡的时候来了,身上冒出了将空间都能烧毁的绿色火焰只可惜这一招居然燃烧在锁链之上居然连一点波纹都没办法引起,依旧是将他困得密密实实。

逆水寒购买铜钱

这年头什么都讲究一个证据,余大同做了十几年县丞,最是清楚其中利害,只要证据足够,完全可以大手一挥动手抓人,其中发生什么事,死了多少人,最终都是自己说了算。
此刻后面追上来的特务终于发现了前面的那两辆小汽车,当时就高兴起来,拼命的开足马力追上来,前面的汽车一看后面有人追上来,便也立即加快了速度,一时间一场激烈的汽车追逐拉练开始了,几辆汽车在被鬼子轰炸机炸得坑坑洼洼的公路上追逐着,相当刺激。沿途的那些驻防步兵看得立即紧张起来,以为是出现了什么战斗情况?

实在是太完美了,这个镜头本来是很难的一个镜头,因为非常考验两位主演的细节功力,时间也不短,他都做好了要拍很多条的准备,却没想到居然一气呵成了。

个性化推荐系统(六)--- 超大数量业务个性化实战


        线上系统有些业务是每天几百篇增量数据个性化,或者是运营每天选定几百、几千个商品sku池子个性化,这种是比较好进行存储管理以及实现的。全站数据进行个性化,每个人相关数据一般就只有几个几十个多个上百个,这个量级数据还可以缓存存储,可以存下来的。

        几亿sku全部存储,几十亿上百亿评论数据,这么大数据量怎样存储怎样使用是个难题。redis缓存全部评论信息并且存储几十个字段详情信息,整个存储将高达几十个T成本太高。

        这个问题可以从用户需求以及使用场景来寻找突破,我们一般看评论会看前几页不断下翻,但每页10个评论的话,一般看10页很多了。想的挺好的存在个问题就是这是以己推人,可能会出很大问题,经分析历史数据发现95%以上用户只看前30页,也就是300条数据。

        这时我们就可以redis缓存30页数据,300条之外其他数据存储在mangodb中和ElasticSearch中。大部分用户请求通过快的缓存满足用户需求,小部分用户翻看到30页之外时通过加载mangodb数据来加载评论。这时redis缓存数据量可以减少10倍成本降低很多,只有部分用户体验降了一些。

       评论数据个性化有两种实现方式一是基于用户个性化,这种就是每个用户看到评论数据都是不同的。另一种是基于评论本身个性化,每个人看到评论是相同的。因为每个用户关注评论点不同,有些人更关注质量、有些人关注品质、有些人关注售后、有些人关注物流,基于用户个性化是很有意义的。基于评论个性化是将好的评论通过AI、NLP技术找到,通过情感AI技术识别差的,重复评论来降低低质量评论,节省用户时间,提高用户决策效率。

       如果是基于用户个性化那实现方式是在服务端拉取评论数据,拉取用户、评论数据、场景当前位置处于移动还是Wifi、android 还是ios系统、用户对于评论便好特征,通过GBDT模型进行CTR点击量预估。详细实现可以看个性化推荐系统(二)---构建推荐引擎以及个性化推荐系统(四)--- 推荐系统服务端。

       如果是基于评论个性化,一般在大数据侧进行实现。通过hadoop、spark实现根据分析师构建公式进行离线计算排出每个spu(同种类不同型号不同颜色商品集合例如iPhone有多个内存尺寸、多种颜色,但都属于一个spu)下300的池子存储到redis中,通过strom接收消费消息队列JMQ、JDQ实时评论信息方式实现新评论插入到已有排序集合合适位置。实现个性化排序,这时服务端只要根据上游请求spu信息分页返回评论信息就可以了。

        整体上大概介绍了超大数据量线上数据个性化实现方式,整个主体是这样实现,实际上比如评论情感识别、无意义评论识别、线上服务出现问题后容灾措施、评论根据TD-IDF标签词抽取、基于LDA主体抽取,每一件事情都是需要花时间花人力去解决的好问题。

  微信搜索:debugme123 

        扫码关注:

当前文章:http://zxqss.com/news/2018082563090/index.html

发布时间:2018-11-20 00:00:00

快三能有办法稳赚 俄语兼职翻译网 兼职网 打码兼职可靠吗 如何每天赚300元 java微信公众号项目 可以赚q币的网站 农业致富好项目

编辑:乙安纯杜

我要说两句: (0人参与)

发布