实时计算框架

大数据计算引擎MapReduce、Storm~到底哪家强?

自大数据的概念被提出以来，企业对于数据信息变为数据资产的诉求越来越强烈，进而在技术领域出现了很多大数据计算引擎服务，最著名、使用最广的莫过于MapReduce、Storm、Spark、Sparkstreaming、Flink了。它们都是在不同的时代背景下所产生的，又是为了解决每个阶段所不能遇到的难题...

EdgeYOLO:边缘设备上实时运行的目标检测器及Pytorch实现

关注并星标从此不迷路计算机视觉研究院公众号ID｜ComputerVisionGzq学习群｜扫码在主页获取加入方式代码地址：https://github.com/LSH9832/edgeyolo计算机视觉研究院专栏作者：Edison_G今天分享的研究者提出了一种基于最先进的YOLO框架的高效、低复杂度...

mmTrix大数据分析平台构建实录（大数据分析平台介绍）

在数据分析中，有超过90%数据都是来自于非结构化数据，其中大部分的是日志，如运维、安全审计、用户访问数据以及业务数据等，但随着互联网快速的发展，数据规模也是水涨船高，从早前的GB级到现在的TB级，甚至PB级也只是短短几年光景。而移动互联网的时代到来，可以说每个人无时无刻不在产生数据，几乎成爆发式的增...

阳光财产保险股份有限公司:实时计算平台

项目背景大数据在保险领域应用越来越广泛，传统的实时计算与离线数据处理已经无法满足业务多样化的场景需求，精细化运营对复杂数据的时效性要求越来越重要，本项目通过实时计算平台的搭建、融合、贯通离线计算大数据平台，实现了实时计算数据与复杂计算数据融合的数据响应从T+1天到秒级的突破；通用配置化程序设计的计算...

基于storm的实时计算应用实践（storm技术原理）

本文转载自有赞技术团队博客http://tech.youzan.com/storm-in-action/有赞使用storm已经有将近3年时间，稳定支撑着实时统计、数据同步、对账、监控、风控等业务。订单实时统计是其中一个典型的业务，对数据准确性、性能等方面都有较高要求，也是上线时间最久的一个实时计算...

爱奇艺大数据生态的实时化建设（爱奇艺的政策环境）

数据作为互联网时代的基础生产资料，在各大公司企业拥有举足轻重的地位。数据的价值在互联网公司的体现，大致而言可以分成三类：发掘数据中的信息来指导决策，如产品运营、用户增长相关的BI报表依托数据优化用户体验和变现效率，如信息分发场景下的个性化推荐、效果广告等基于数据统计的业务监控，如监控大盘、安全风...

实时计算框架 Flink 在教育行业的应用实践

如今，越来越多的业务场景要求OLTP系统能及时得到业务数据计算、分析后的结果，这就需要实时的流式计算如Flink等来保障。例如，在TB级别数据量的数据库中，通过SQL语句或相关API直接对原始数据进行大规模关联、聚合操作，是无法做到在极短的时间内通过接口反馈到前端进行展示的。若想实现大...

日均万亿条数据如何处理?爱奇艺实时计算平台这样做

1.爱奇艺Flink服务现状爱奇艺从2012年开始开展大数据业务，一开始只有二十几个节点，主要是MapReduce、Hive等离线计算任务。到2014年左右上线了Storm、Spark实时计算服务，并随后发布了基于Spark的实时计算平台Europa。2017年开始引入...

友信金服基于Flink构建实时用户画像系统的实践

导读：当今生活节奏日益加快，企业面对不断增加的海量信息，其信息筛选和处理效率低下的困扰与日俱增。由于用户营销不够细化，企业App中许多不合时宜或不合偏好的消息推送很大程度上影响了用户体验，甚至引发了用户流失。在此背景下，友信金服公司推行全域的数据体系战略，通过打通和整合集团各个业务线数据，利用大...

大数据实时计算流程介绍（大数据四种计算方式）

实时计算是常见的大数据计算场景。业务部门需要实时反馈产品的被点击、浏览、收藏、购买、评价等数据，对时延的要求一般是秒级，甚至毫秒级。而批处理计算引擎一般需要几分钟或者几小时才能返回结果，显然无法满足该场景的计算需求。基于实时计算的需求，流式计算引擎应运而生。目前，应用得较多的流式计算引擎主要有Spa...