-
MyCat系列十八--数据分片之冷热分片
MyCat系列十八--数据分片之冷热分片根据日期查询数据 冷热数据分布 ，最近 n 的到实时交易库查询，超过 n 的按照 m 天分片。具体示例实现的步骤为如下（注：蓝色字体为本示例的相关内容）：新建表CREATE TABLE `t_hotdate` (...
06月12日[解决方案]浏览：6
-
MyCat系列十七--数据分片之一致性hash分片
MyCat系列十七--数据分片之一致性hash分片一致性Hash算法有效的解决了分布式数据的扩容问题。具体示例实现的步骤为如下（注：蓝色字体为本示例的相关内容）：新建表CREATE TABLE `t_hash_2` (...
06月12日[解决方案]浏览：5
-
MyCat系列十九--数据分片之应用指定分片
MyCat系列十九--数据分片之应用指定分片此规则由应用自主决定路由到哪个分片。具体示例实现的步骤为如下（注：蓝色字体为本示例的相关内容）：新建表CREATE TABLE `t_app` (...
06月12日[解决方案]浏览：6
-
-
一起从概念上来了解下分区、分表、分片、分库
前言现在做应用开发，数据也是越来越多了，之前遇见一个linux io异常的问题，查询分析后发现是mysql出现了慢查询导致，后来看了下问题表的数据，1亿+，单库单表这么多数据不慢查询才怪，因为这个系统和我关系不大，只是帮别人看了下，最后分析了下业务，业务比较复杂，存在多表join，复杂查询等情况，无...
06月12日[解决方案]浏览：6
-
ETL 数据集成平台与数据仓库的关系及 ETL 工具推荐
数字化时代企业每天都会产生海量的数据，这些数据分散在不同的系统、数据库和应用中。为了能够有效地利用这些数据，进行数据分析、商业智能决策等，ETL数据集成平台和数据仓库成为了企业数据管理架构中的关键组成部分。本文将深入探讨ETL数据集成平台与数据仓库之间的关系。ETL数据集成平台与数据仓库的关系1.E...
06月10日[解决方案]浏览：12
-
值得推荐的高质量开源项目——适合做大规模数据集成的场景
SeaTunnel（原名 Waterdrop） ，由 Apache 孵化的开源数据集成平台，支持高性能的数据同步、清洗与传输，可以在离线/实时场景下灵活运行。 是新一代高性能分布式数据集成工具，能够每日同步海量数据，其高效性和稳定性深受众多企业的信赖。主要特点...
06月10日[解决方案]浏览：10
-
三个案例告诉你:什么是数据集成
什么是数据集成？是数据的复制？是数据的移动？还是数据的提取、转换、加载？先卖个关子，我们先来看一下三个案例。·第一个案例是ATM交易。一位女士在A银行的自动取款机上使用了B银行的卡，现在的问题是A银行如何核实属于B银行的客户的详细信息？然后决定是否提取金额或取消交易。实际上AB银行之间发生了数据交换...
06月10日[解决方案]浏览：10
-
-
数据平台产品-数据集成篇-拖拽式数据集成
在进行用户跨系统，或者数据搬运的情况下，一般使用拖拽式的开发形式。国外一般归类于ETL产品中，对应的组件是源端组件、转换组件、目标端组件，具体如何设计，请看这篇文章。拖拽式的数据集成，到底属于数据集成还是数据开发，一直会有这个疑问；在加工过程中的各个组件，又能进行负责的转换、计算等操作。属于数据加工...
06月10日[解决方案]浏览：9