返回

通智云数据中心使用说明

tengence ·
API推送 MySQL同步 数据中心 数据集 行为数据
通智云数据中心使用说明

本说明介绍如何将业务数据接入通智云数据中心:包括进入数据中心、创建三类数据集(API推送 / MySQL / 行为数据),以及如何查看和管理已创建的数据集。

一、数据中心概述

数据中心支持三种数据接入方式,可根据数据的来源和形态选择合适的数据集类型:

数据集类型 适用场景 接入方式
API推送数据集 业务数据较复杂,需要先进行处理和格式化 将数据组装后,通过API推送到数据集
MySQL数据集 数据保存在MySQL单表中 从MySQL数据源自动同步
行为数据集 需要采集页面上的用户行为数据 前端集成行为数据SDK后自动上报

二、进入数据中心

  1. 登录通智云控制台,在左侧导航栏中找到“数据中心”,点击进入。

    左侧导航栏中的“数据中心”入口
    图2-1 左侧导航栏中的“数据中心”入口

  2. 进入数据中心概览页。概览页的“快速新建”区域提供三种数据集的创建入口。

    数据中心概览页与“快速新建”区域
    图2-2 数据中心概览页与“快速新建”区域

三、创建API推送数据集

适用场景:业务数据较复杂、需要进行一定的处理和格式化时,建议先将数据组装好,再通过API推送到数据集。

💡 提示:一般情况下,优先使用API推送方式。

第一步:创建数据集

  1. 在概览页“快速新建”区域,点击“API推送”,进入创建数据集页面。

    在“快速新建”区域点击“API推送”
    图3-1 在“快速新建”区域点击“API推送”

  2. 设置ID字段的名称。每个数据集都必须有一个ID字段,默认名称为“id”,也可以根据业务情况修改。

  3. 点击“下一步”,阅读数据推送指引,然后点击“创建”,完成数据集创建。

    阅读数据推送指引并完成创建
    图3-2 阅读数据推送指引并完成创建

第二步:打开数据集详情页

  1. 概览页设有“数据集列表”入口,点击可查看所有数据集。

    概览页中的“数据集列表”入口
    图3-3 概览页中的“数据集列表”入口

  2. 列表默认按创建时间倒序排列。新创建的数据集由系统自动命名。

  3. 点击数据集名称,进入数据集详情页。

    数据集列表页
    图3-4 数据集列表页

第三步:了解详情页“基础信息”

数据集详情页主要包含“基础信息”“字段列表”“预览”等功能区。其中,“基础信息”的主要功能如下:

序号 功能 说明
1 修改名称 点击数据集名称后面的修改按钮,即可设置数据集名称
2 开始同步 开始接收推送数据;如果没有开始同步,数据集会拒绝接收数据
3 连接配置 查看数据推送地址和对应的API Key
4 如何推送数据? 点击后在页面右侧弹出数据推送指引
5 字段映射 查看数据集的所有字段;刚创建时只有ID字段,推送数据后,会根据推送的数据结构显示完整的字段信息
6 关联应用 查看数据集被其他应用使用的情况;关联应用不为0时,该数据集不能被删除

数据集详情页之“基础信息”功能区
图3-5 数据集详情页之“基础信息”功能区

⚠️ 注意:API Key是推送数据的凭证,请妥善保管,不要泄漏。

第四步:开始同步并推送数据

在详情页点击“开始同步”后,按照数据推送指引操作,即可向数据集推送数据。

启动同步后按指引推送数据
图3-6 启动同步后按指引推送数据

四、创建MySQL数据集

适用场景:数据已经准备好、并保存在MySQL单表中时,建议创建MySQL数据集,由平台自动同步数据。

第一步:连接数据库

  1. 在概览页“快速新建”区域,点击“MySql”,进入创建数据集页面。

    在“快速新建”区域点击“MySql”
    图4-1 在“快速新建”区域点击“MySql”

  2. 输入对应的数据库连接信息,点击“连接测试”;测试通过后,点击“下一步”。

    输入数据库连接信息并进行连接测试
    图4-2 输入数据库连接信息并进行连接测试

第二步:选择同步模式

支持全量快照、定时增量、实时增量三种同步模式:

同步模式 权限要求 是否依赖时间字段 更新方式 注意事项
全量快照 仅需SELECT权限 只同步一次,后续不再同步增量数据 数据量超过10万行时不建议使用:同步耗时较长,且会给数据源带来压力
定时增量 仅需SELECT权限 :需指定有效的时间字段,并设置定时同步的时间间隔 按设定的时间间隔定时同步 时间字段必须为真实有效的时间类型或时间戳;若字段内容有误,会导致数据混乱
实时增量 需授权更多权限(通过binlog同步) 实时更新 同步期间会持续占用数据库连接,请结合数据源负载合理评估

全量快照模式
图4-3 全量快照模式

定时增量模式
图4-4 定时增量模式

实时增量模式
图4-5 实时增量模式

第三步:设置字段映射

权限测试通过后,点击“下一步”,进入字段映射设置:

  1. 设置ID字段:每个数据集必须有且只有一个ID字段,用于唯一标识一条数据。数据表的主键不一定是ID字段,选中目标字段后,点击“设为ID字段”即可。

  2. 字段命名映射:可以设置数据集字段名称,将数据源字段名映射为数据集字段名,默认与数据源字段名保持一致。

  3. 字段注释:可以修改数据集字段的注释,默认与数据源字段的注释保持一致。

    字段映射设置
    图4-6 字段映射设置

第四步:设置过滤条件(可选)

点击“下一步”,可以设置同步过程的过滤条件。数据同步过程中会应用这些条件,确保同步到数据集中的都是有效数据;如果不需要过滤,可以不设置过滤条件。

同步过滤条件设置
图4-7 同步过滤条件设置

第五步:创建并启动同步

  1. 点击“创建”,按以上配置创建MySQL数据集。

  2. 回到MySQL数据集详情页,在“基础信息”页面中点击“开始同步”,即可启动数据集同步。

    在详情页点击“开始同步”
    图4-8 在详情页点击“开始同步”

五、创建行为数据集

适用场景:需要在页面中采集用户行为数据时,创建行为数据集。

第一步:创建数据集

  1. 在概览页“快速新建”区域,点击“行为数据”,进入创建数据集页面。

    在“快速新建”区域点击“行为数据”
    图5-1 在“快速新建”区域点击“行为数据”

  2. 行为数据集由行为数据SDK自动推送数据,数据结构由SDK确定,无需手动定义字段,直接点击“创建”按钮即可。

第二步:了解详情页“基础信息”

回到行为数据集详情页,“基础信息”页面的主要功能如下:

  1. 点击“开始同步”,启动数据集同步;只有启动同步后,数据集才能接收SDK上报的数据;

  2. 点击“如何接入行为数据”,页面右侧会弹出接入行为数据的指引;

  3. 在“连接配置”区域,可以查看行为数据推送地址和对应的Access Key。

    行为数据集详情页之“基础信息”
    图5-2 行为数据集详情页之“基础信息”

第三步:开始同步并接入行为数据

启动数据集同步后,按照接入行为数据的指引,在前端接入行为数据,SDK就会自动推送行为数据。

集成SDK后自动上报行为数据
图5-3 集成SDK后自动上报行为数据

六、查看与管理数据集

字段列表与语义标签

开始同步数据后,回到数据集详情页的“字段列表”,可以查看已推送数据的全部字段列表。如需修改字段配置,点击“修改配置”按钮。

“字段列表”与“修改配置”
图6-1 “字段列表”与“修改配置”

可以为字段设置语义标签和备注信息,具体操作如下:

💡 提示:语义标签可以帮助系统更充分地理解您的业务数据,建议进行设置。

  1. 可以先查看语义标签的详细说明,了解设置语义标签的意义;

  2. 点击“添加语义标签”,为字段设置语义标签;

  3. 可以从系统默认支持的语义标签类型中选择合适的标签;

  4. 也可以暂不设置,当后续某些功能依赖语义标签时,再回来设置即可。

    为字段添加语义标签
    图6-2 为字段添加语义标签

预览数据

在数据集详情页的“预览”区,可以查看已推送数据的内容:

  1. 点击“预览”,系统默认采样一批数据,可通过抽样数据了解数据集的基本内容;

  2. 点击“重新采样”,可以重新采样一批数据;

  3. 点击“查看详情”,可以查看单条数据的内容。

    “预览”区抽样查看数据
    图6-3 “预览”区抽样查看数据


附录:名词说明

名词 说明
ID字段 数据集中用于唯一标识一条数据的字段,每个数据集必须有且只有一个
语义标签 描述字段业务含义的标签,用于帮助系统更充分地理解您的业务数据
全量同步 / 增量同步 全量同步指一次性同步全部已有数据,后续不再同步增量数据;增量同步只同步新增或变化的数据,包括按设定时间间隔的定时增量和基于binlog的实时增量
binlog MySQL的二进制日志,用于记录数据变更;实时增量模式基于binlog同步,不依赖时间字段
← 上一篇: 某耳机制造商SEO/GEO双引擎优化诊断报告 下一篇 → 通智搜索使用说明
咨询 咨询
二维码

企业微信