极光资源网:整合微商/抖音/淘宝开店运营教程,创业项目,AI工具与办公工具资源,助力高效选品运营。

开源DataEase不支持定时同步数据怎么解决?

发布人员:曦阳SEO 所属分类:建站教程 浏览量:5 原创

DataEase 数据链接方式支持直连与定时同步,定时同步模式需要 Doris 与 Kettle 组件的支持,由于默认安装的系统均为精简模式,系统不会额外安装 Doris 与 Kettle 组件,故定时同步的按钮为灰色不可点击状态,若需配置定时同步模式,可参考安装模式,切换部署模式为本地模式或集群模式使用。

需注意两种连接方式的差异:

1、【直连】:直接访问数据源配置的数据库,数据实时性高,数据压力在所对接的数据库上;

2、【定时同步】:DataEase 通过 Kettle 将数据抽取转换并存储在 Doris 中,数据实时性稍差,数据压力在 Doris 中,性能更好。
提示:定时同步模式下有两个概念,立即更新和稍后同步,立即更新即此次操作会即时更新数据,稍后同步需要设置定时任务或手动去更新数据。

一、DataEase安装模式介绍

DataEase的v1.9.0 及以后版本安装模式分为本地模式(local)、精简模式(simple)、集群模式(cluster),v1.9.0 以前版本不涉及该内容,等同于安装的本地模式。

安装模式对应 DataEase 中的配置参数为 DE_ENGINE_MODE,在不做修改的情况下,系统默认安装精简模式。

1.1 本地模式

DE_ENGINE_MODE=local
使用本地模式安装,DataEase 会自带 Doris 与 Kettle 组件,无需再做额外配置,但各组件均为单点,不具备高可用特性。
在此模式下,Excel 数据集、API 数据集以及定时同步的数据默认保存在自带的 Doris 组件中。

1.2 精简模式

DE_ENGINE_MODE=simple
使用精简模式安装,系统不会额外安装 Doris 与 Kettle 组件,提供用户轻量级的应用系统,尤其是对接数据量较小的情况。
在此模式下,若用户需要使用 Excel 数据集或 API 数据集可在系统管理界面配置数据引擎(目前仅支持 MySQL 类型),相关数据会存储到该数据引擎中。若只需使用数据库直连则无需做此配置。
注意:由于精简模式未配置 Kettle 与 Doris,故相关 SQL 数据集/数据库数据集不提供定时同步模式。

1.3 集群模式

DE_ENGINE_MODE=cluster
使用集群模式安装,系统不会额外安装 Doris 与 Kettle 组件,但会在系统管理模块提供 Doris 与 Kettle 的链接配置界面(请参考【系统管理】的【系统参数】说明),用户可独立安装 Doris 集群及 Kettle 并配置在 DataEase 中。集群模式下 Excel 数据集,API 数据集以及定时同步的数据通过 Kettle 抽取到 Doris 集群中。
Doris 安装部署可参考:http://doris.incubator.apache.org/zh-CN/
Kettle 安装部署可参考:http://www.kettle.org.cn/

二、切换安装模式

安装包部署方式下,若需切换安装模式,请执行以下操作。

步骤一:修改 /opt/dataease/.env 文件(注意 .env 是隐藏文件)中 DE_ENGINE_MODE 参数,比如将 local 改成 simple。

开源DataEase不支持定时同步数据怎么解决?-第1张图片步骤二:若是离线安装方式,在 DataEase 离线安装包解压目录(以 v1.12.0 版本为示例,离线包上传到 /tmp 目录下解压,则在 /tmp/dataease-v1.12.0-offline 下),重新执行安装脚本即可。

bash install.sh

若是在线安装方式,在执行一键安装命令的在线安装包解压目录(以 v1.12.0 版本为示例,在 /home 目录下执行命令,则在 /home/dataease-v1.12.0-online 下),重新执行 bash install.sh,也可重新执行在线安装脚本。

curl -sSL https://GitHub.com/dataease/dataease/releases/latest/download/quick_start.sh | sh
注意:由于精简模式的 Excel 与 API 数据集是保存在配置的数据引擎中的,切换为其它模式会导致这两部分的数据丢失,反之亦然(Excel 与 API 数据集保存位置变更),直连数据库的相关数据集不受影响。

以上就是开源DataEase不支持定时同步数据怎么解决?的全部内容了,希望能够帮助到你,找建站教程记得来极光资源网!

免责声明

本站提供的一切软件、教程和内容信息仅限用于学习和研究目的;不得将上述内容用于商业或者非法用途,否则,一切后果请用户自负。本站信息来自网络收集整理,版权争议与本站无关。您必须在下载后的24个小时之内,从您的电脑或手机中彻底删除上述内容。如果您喜欢该程序和内容,请支持正版,购买注册,得到更好的正版服务。我们非常重视版权问题,如有侵权请邮件与我们联系处理。敬请谅解!

同类推荐
小姐姐视频
  • 最新文章

  • 热评文章

  • 热门文章

标签列表
日历
«    2025年8月    »
123
45678910
11121314151617
18192021222324
25262728293031
文章归档