大数据架构高峰论坛,装备大数据高峰论坛2020

实习生刘芳华通讯员黄方7月9日，由广东财经大学(广东财税大学人民财税发展研究中心、广东地方公共财政研究中心数据重点实验室)举办的首届人民财税。围绕“数字经济与数字财税”论坛以线上线下相结合的方式召开，围绕“数字经济与数字财税”的研究主题，积极回应数字经济与数字财税蓬勃发展的时代需求，为数字财税的高质量发展建言献策。

广东财经大学校长于海峰教授主持了开幕式。会上，广东财经大学党委书记郑发表了讲话。他指出，近年来，互联网、Internet 数据、云计算、人工智能、区块链等技术创新加速，日益融入经济社会发展的各个领域和全过程。加快数字化战略转型，是“十四五”时期我国建设网络强国和数字强国的重要战略任务。数字经济和数字财税蓬勃发展，财税基础理论建设进入了与以往截然不同的新阶段。

Da 数据数量众多，格式多样。大量数据由家庭、制造工厂和办公室、互联网交易、社交网络活动、自动化传感器、移动设备和科研仪器中的各种设备产生。其爆发式的增长已经超过了传统IT基础架构的处理能力，给企业和社会带来了严峻的数据管理问题。因此，有必要开发一个新的-3架构around "数据集合、数据管理、数据分析、知识形成和智能行动"。

随着科技的发展，人们已经能够制造出具有处理功能的极其微小的传感器，并开始将这些设备广泛地布置在社会的各个角落，通过这些设备来监控整个社会的运行。这些设备会不断生成新的数据，这个数据生成方法是自动的。所以在数据收藏方面，要从网络上给数据打上时间和空间的标记，包括物联网、社交网络、机构信息系统，去伪存真，尽可能多的收集不同的来源，甚至是异构的数据，必要时还可以和历史-

1。交易用途:实际指数据收藏。你是怎么收集数据？互联网收藏数据比较简单，通过网页、app都可以收藏。比如现在很多银行都有自己的app。在更深层次上，我们还可以收集用户的行为数据，我们可以细分很多维度，做一个详细的分析。但是对于线下行业来说数据的收款需要各种交易系统的帮助。2.数据 Integration:实际上指的是ETL，即用户从源码中提取所需的数据，经过数据清洗，

这里的Kettle只是ETL中的一个。三。数据仓储:是指数据仓库的构建，分为事务数据层(DW)、指标层、维度层、汇总层(DWA)。四。数据共享层:是指数据仓库和交易系统之间提供共享服务数据。WebService和WebAPI代表数据之间的一种连接方式，还有一些其他的连接方式可以根据自己的情况来确定。

turn: 数据分析工作虽然隐藏在业务系统的背后，但却起着非常重要的作用。数据分析结果对决策和业务发展具有重要作用，随着数据技术的发展，诸如数据 mining和数据 exploration等专有名词的曝光率越来越高，但在数据类似Hadoop系列的分析系统流行起来之前，尤其是对于以BI系统为主的数据，有非常成熟稳定的技术方案和生态系统。对于BI系统，大概架构图如下:总的来说，目前有几种Hadoop架构:传统Hadoop数据数据架构lambda架构考虑Hadoop，大部分架构基本都是Lambda 架构或者基于它的变体架构。