返回

通智雲數據中心使用說明:API 推送、MySQL 與行為數據集接入

通智雲團隊 ·
API整合 數據分析 用戶數據
通智雲數據中心使用說明:API 推送、MySQL 與行為數據集接入

本說明介紹如何將業務數據接入通智雲數據中心:包括進入數據中心、建立三類數據集(API 推送 / MySQL / 行為數據),以及如何查看和管理已建立的數據集。

一、數據中心概述

數據中心支援三種數據接入方式,可根據數據的來源和形態選擇合適的數據集類型:

數據集類型 適用場景 接入方式
API推送數據集 業務數據較複雜,需要先進行處理和格式化 將數據組裝後,通過API推送到數據集
MySQL數據集 數據保存在MySQL單表中 從MySQL資料庫自動同步
行為數據集 需要採集頁面上的用戶行為數據 前端集成行為數據SDK後自動上報

二、進入數據中心

  1. 登入通智雲控制台,在左側導航欄中找到「數據中心」,點擊進入。

    左側導航欄中的「數據中心」入口
    圖2-1 左側導航欄中的「數據中心」入口

  2. 進入數據中心概覽頁。概覽頁的「快速新建」區域提供三種數據集的建立入口。

    數據中心概覽頁與「快速新建」區域
    圖2-2 數據中心概覽頁與「快速新建」區域

三、建立API推送數據集

適用場景:業務數據較複雜、需要進行一定的處理和格式化時,建議先將數據組裝好,再通過API推送到數據集。

💡 提示:一般情況下,優先使用API推送方式。

第一步:建立數據集

  1. 在概覽頁「快速新建」區域,點擊「API推送」,進入建立數據集頁面。

    在「快速新建」區域點擊「API推送」
    圖3-1 在「快速新建」區域點擊「API推送」

  2. 設定ID欄位的名稱。每個數據集都必須有一個ID欄位,預設名稱為「id」,也可以根據業務情況修改。

  3. 點擊「下一步」,閱讀數據推送指引,然後點擊「建立」,完成數據集建立。

    閱讀數據推送指引並完成建立
    圖3-2 閱讀數據推送指引並完成建立

第二步:打開數據集詳情頁

  1. 概覽頁設有「數據集列表」入口,點擊可查看所有數據集。

    概覽頁中的「數據集列表」入口
    圖3-3 概覽頁中的「數據集列表」入口

  2. 列表預設按建立時間倒序排列。新建立的數據集由系統自動命名。

  3. 點擊數據集名稱,進入數據集詳情頁。

    數據集列表頁
    圖3-4 數據集列表頁

第三步:了解詳情頁「基本資訊」

數據集詳情頁主要包含「基本資訊」「欄位列表」「預覽」等功能區。其中,「基本資訊」的主要功能如下:

序號 功能 說明
1 修改名稱 點擊數據集名稱後面的修改按鈕,即可設定數據集名稱
2 開始同步 開始接收推送數據;如果沒有開始同步,數據集會拒絕接收數據
3 連接配置 查看數據推送地址和對應的API Key
4 如何推送數據? 點擊後在頁面右側彈出數據推送指引
5 欄位映射 查看數據集的所有欄位;剛建立時只有ID欄位,推送數據後,會根據推送的數據結構顯示完整的欄位資訊
6 關聯應用 查看數據集被其他應用使用的情況;關聯應用不為0時,該數據集不能被刪除

數據集詳情頁之「基本資訊」功能區
圖3-5 數據集詳情頁之「基本資訊」功能區

⚠️ 注意:API Key是推送數據的憑證,請妥善保管,不要洩漏。

第四步:開始同步並推送數據

在詳情頁點擊「開始同步」後,按照數據推送指引操作,即可向數據集推送數據。

啟動同步後按指引推送數據
圖3-6 啟動同步後按指引推送數據

四、建立MySQL數據集

適用場景:數據已經準備好、並保存在MySQL單表中時,建議建立MySQL數據集,由平台自動同步數據。

第一步:連接資料庫

  1. 在概覽頁「快速新建」區域,點擊「MySql」,進入建立數據集頁面。

    在「快速新建」區域點擊「MySql」
    圖4-1 在「快速新建」區域點擊「MySql」

  2. 輸入對應的資料庫連接資訊,點擊「連接測試」;測試通過後,點擊「下一步」。

    輸入資料庫連接資訊並進行連接測試
    圖4-2 輸入資料庫連接資訊並進行連接測試

第二步:選擇同步模式

支援全量快照、定時增量、實時增量三種同步模式:

同步模式 權限要求 是否依賴時間欄位 更新方式 注意事項
全量快照 僅需SELECT權限 否 只同步一次,後續不再同步增量數據 數據量超過10萬行時不建議使用:同步耗時較長,且會給數據源帶來壓力
定時增量 僅需SELECT權限 是:需指定有效的時間欄位,並設定定時同步的時間間隔 按設定的時間間隔定時同步 時間欄位必須為真實有效的時間類型或時間戳;若欄位內容有誤,會導致數據混亂
實時增量 需授權更多權限(通過binlog同步) 否 實時更新 同步期間會持續佔用資料庫連接,請結合數據源負載合理評估

全量快照模式
圖4-3 全量快照模式

定時增量模式
圖4-4 定時增量模式

實時增量模式
圖4-5 實時增量模式

第三步:設定欄位映射

權限測試通過後,點擊「下一步」,進入欄位映射設定:

  1. 設定ID欄位:每個數據集必須有且只有一個ID欄位,用於唯一標識一條數據。數據表的主鍵不一定是ID欄位,選中目標欄位後,點擊「設為ID欄位」即可。

  2. 欄位命名映射:可以設定數據集欄位名稱,將數據源欄位名映射為數據集欄位名,預設與數據源欄位名保持一致。

  3. 欄位註釋:可以修改數據集欄位的註釋,預設與數據源欄位的註釋保持一致。

    欄位映射設定
    圖4-6 欄位映射設定

第四步:設定過濾條件(可選)

點擊「下一步」,可以設定同步過程的過濾條件。數據同步過程中會應用這些條件,確保同步到數據集中的都是有效數據;如果不需要過濾,可以不設定過濾條件。

同步過濾條件設定
圖4-7 同步過濾條件設定

第五步:建立並啟動同步

  1. 點擊「建立」,按以上配置建立MySQL數據集。

  2. 回到MySQL數據集詳情頁,在「基本資訊」頁面中點擊「開始同步」,即可啟動數據集同步。

    在詳情頁點擊「開始同步」
    圖4-8 在詳情頁點擊「開始同步」

五、建立行為數據集

適用場景:需要在頁面中採集用戶行為數據時,建立行為數據集。

第一步:建立數據集

  1. 在概覽頁「快速新建」區域,點擊「行為數據」,進入建立數據集頁面。

    在「快速新建」區域點擊「行為數據」
    圖5-1 在「快速新建」區域點擊「行為數據」

  2. 行為數據集由行為數據SDK自動推送數據,數據結構由SDK確定,無需手動定義欄位,直接點擊「建立」按鈕即可。

第二步:了解詳情頁「基本資訊」

回到行為數據集詳情頁,「基本資訊」頁面的主要功能如下:

  1. 點擊「開始同步」,啟動數據集同步;只有啟動同步後,數據集才能接收SDK上報的數據;

  2. 點擊「如何接入行為數據」,頁面右側會彈出接入行為數據的指引;

  3. 在「連接配置」區域,可以查看行為數據推送地址和對應的Access Key。

    行為數據集詳情頁之「基本資訊」
    圖5-2 行為數據集詳情頁之「基本資訊」

第三步:開始同步並接入行為數據

啟動數據集同步後,按照接入行為數據的指引,在前端接入行為數據,SDK就會自動推送行為數據。

集成SDK後自動上報行為數據
圖5-3 集成SDK後自動上報行為數據

六、查看與管理數據集

欄位列表與語義標籤

開始同步數據後,回到數據集詳情頁的「欄位列表」,可以查看已推送數據的全部欄位列表。如需修改欄位配置,點擊「修改配置」按鈕。

「欄位列表」與「修改配置」
圖6-1 「欄位列表」與「修改配置」

可以為欄位設定語義標籤和備註資訊,具體操作如下:

💡 提示:語義標籤可以幫助系統更充分地理解您的業務數據,建議進行設定。

  1. 可以先查看語義標籤的詳細說明,了解設定語義標籤的意義;

  2. 點擊「添加語義標籤」,為欄位設定語義標籤;

  3. 可以從系統預設支援的語義標籤類型中選擇合適的標籤;

  4. 也可以暫不設定,當後續某些功能依賴語義標籤時,再回來設定即可。

    為欄位添加語義標籤
    圖6-2 為欄位添加語義標籤

預覽數據

在數據集詳情頁的「預覽」區,可以查看已推送數據的內容:

  1. 點擊「預覽」,系統預設採樣一批數據,可通過抽樣數據了解數據集的基本內容;

  2. 點擊「重新採樣」,可以重新採樣一批數據;

  3. 點擊「查看詳情」,可以查看單條數據的內容。

    「預覽」區抽樣查看數據
    圖6-3 「預覽」區抽樣查看數據


附錄:名詞說明

名詞 說明
ID欄位 數據集中用於唯一標識一條數據的欄位,每個數據集必須有且只有一個
語義標籤 描述欄位業務含義的標籤,用於幫助系統更充分地理解您的業務數據
全量同步 / 增量同步 全量同步指一次性同步全部已有數據,後續不再同步增量數據;增量同步只同步新增或變化的數據,包括按設定時間間隔的定時增量和基於binlog的實時增量
binlog MySQL的二進位日誌,用於記錄數據變更;實時增量模式基於binlog同步,不依賴時間欄位
← 上一篇: 通智搜尋 API 介面說明書 下一篇: 通智搜尋使用說明:四個步驟為業務系統接入搜尋能力 →
諮詢
二維碼

企業微信