——格子大数据简介——

格子是基于Hadoop框架大数据应用支撑平台。在Hadoop基础框架之上,集成了Storm、Spark,Pregel,GraphLab。完善了格子平台在流计算、图计算方面的支撑能力。提供简单的安装部署界面,特别方便企业在大量数据节点上部署大数据应用环境。和格子搭配的是我们的数据分析定制开发服务。两者的配合目的是为企业提供实实在在的大数据应用服务:利用业内成熟技术搭建大数据应用平台,可以快速低成本构建数据分析展现所需要的软硬件环境;由我们为企业开发具体的分析应用,承担建模、测试、验证等数据分析和挖掘任务,将大数据在企业的具体业务上落地,让大数据这个新技术名词切实的为企业办实事。

——格子大数据主要功能——

  • 分布式文件系统:支持大文件存储。
  • 分布式数据库:支持大数据存储,支持水平扩展
  • 图论数据库:支持图数据结构的数据存储。
  • 图计算能力:分布式环境下支持基于图的数据计算。
  • 分布式批量计算:分布式环境下的数据批量计算。
  • 分布式流计算:满足大数据的实时计算。
  • 可视化:可视化展现数据分析结果。
  • 支持专业数据分析语言:支持R语言实现应用部署于格子中。

——格子大数据核心价值——

格子最匹配企业的价值是为企业提供的定制数据分析开发。数据分析针对不同行业和企业都有各自不同的需求。我们采用定制开发服务的方式,为企业实实在在的提供大数据服务。而不是广义的数据采集存储+可视化。广义的大数据平台实现了从数据采集、存储、分析到可视化的全部支撑。但具体的数据存储格式是什么?如何设计才能用于分布式数据库?怎么设计字段才能使用SQL进行查询。或者说是否可以直接用文件存储来代替数据库?可视化是基于数据结论的展现,可视化再炫再酷,没有正确的分析结果,也只是巧妇难为无米之炊。因此我们紧紧抓住企业的核心需求为大家服务。采用JAVA,R,C++等语言来具体实现数据分析挖掘这个环节,将大数据的价值真正呈现给企业使用。

——格子大数据系统结构——

——格子大数据安全保证——

选择我们的定制化数据分析,并不需要让我们知晓客户的全部数据,这对客户的数据保密尤其重要。我们只需要样本,来设计数据挖掘的算法。然后将开发好的应用实例部署到企业侧的大数据平台,即可为企业进行数据分析和运算,并利用可视化模块展现出来。

——格子大数据应用案例——

超市智能货架

超市货架的合理摆放,可以提供销售额。这个是超市老板都知晓的。但如何摆放呢?我们通过的数据分析来寻找答案。首先获得超市的每天的销售数据。根据小票获得,每个人K,购买的物品清单。物品根据各自的编码来获得分类:比如洗涤用品、面包类、啤酒、碳酸饮料等等。 这一步就是数据提取了。将提取的数据存入 HBase中。
下一步用利用 java开发的分析程序,对数据按小时、日、周、月进行计算。计算出商品种类之间的相似度利用协同过滤算法:ItemCF,获得物品之间的相似度模型。并将其展现出来。当一些物品被用户连续购买时候,比如很多人同时购买了面包类食品,还购买了卫生洁具类食品,那么可能是临近节日了,大家都要出远门旅游。因此购买了旅游的食品,同时在离家的时候做下大扫除。这时候,超市可以将这些相关商品摆放在靠近的地方,或作出一些促销来提高整体销量。
由于超市每天的销售物品很多,因此单一服务器和传统数据库无法进行快速运算。就需要使用Spark Steam来实现分布式实时计算。快速展现商品之间的相似度变化,有效利用商机。

精准营销

为企业提供的找你客精准营销产品,就是基于大数据技术,利用基础运营商庞大的用户行为日志,来分析出某类商品的潜在客户。