华为&先数金融大数据服务 平台解决方案
提纲
银行为什么要使用大数据技术？
银行面临的问题 解决办法（治标、终有极限） 还有更好的办法吗？1. 数据量暴增 系统扩容，增加机器和存储； 大规模分布式计算架构能-历史数据越来越多 -局部优化，不断启动优化项目，压榨系 提供更强大、单位成本更-数据保存计算成本越来越高 -批处理时间越来越长 统潜力； 低、扩展性更好的解决办 法.-采用数据压缩，但是大大降低了数据可 用性和访问效率；-离线备份和清理，以失去数据的可用性为代价.2.数据时效性差 优化系统，局部提高数据时效性-单纯批量的数据处理模式无法满足 但无法从根本上解决问题. 采用大规模分布式计算架 构和流计算框架，打通数业务水平不断高的需求 据持久化区域之间的通路，-T1的数据服务能力越来越受到来自 提高数据处理的时效性.业务部门的压力 -传统数据仓库逐层数据加工的模式函待改变3.数据可用性差 没有办法-传统数据仓库/平台只能提供批量计 数据大规模在线查询的能 分布式计算架构可以提供算和访问的单一数据使用场景. 力.-集中存储于企业数据仓库中的海量数据无法得到使用，无法查询4.非结构化数据管理和利用的需 离线存储 在互联网领域，非结构化求无法满足 -大量非结构化数据缺乏管理 当前技术没有办法分析和利用数据. 案例. 数据分析已经有众多成功-非结构化数据无法分析利用
常见的大数据技术和传统技术的关系
数据处理技术 擅长于 不擅长于 用途定位集中式架构RDBMS 联机事务处理OLTP 批量分析OLAP OLTP类系统数据库服务Oracle 高并发、小数据量的事 低并发，大数据量计算和 器DB2 务处理 访问MySQLMPP数据库 批量分析OLAP 高并发，小数据量的查询 结构化数据存储Teredata 低并发，大数据量计算 OLAP、EDW数据库服Greenplum 和访问 务器分布式文件系统 以块为单位的数据存储 数据无法更新，只能重写 分布式存储和计算的基HDFS 和访问，特别适合M/R 础文件系统算法 历史数据和非结构化数据存储分布式数据仓库 批量数据查询 数据只能访问，无法更新 批量数据访问接口Hive 低并发，大数据量KV数据库 按照Key的数据查询、HBase 更新和删除 无条件的批量查询 关联查询 询服务 提供大规模在线并行查
大数据技术和传统数据库技术不是相互取代的关系，而是护卫补充的关系.由多种数据库技术共同组成的混合计算架构，可能将成为一定时期内众多企业数据中心的架构标准，它们一起提供更为全面、高效率的数据计算能力.
ADT大数据标准架构一混合技术架构的大数据平台
提供更全面、！ 更快速、更持久、更丰富、服务多样的处理能力.
