PrimetonDWS

Appearance

操作指南/开发示例/开发转换示例/去除重复记录组件-去除重复记录

去除重复记录组件-去除重复记录 ​

将上游重复记录进行去除。

主要步骤如下：

模型 ​

input

开发步骤 ​

准备数据 ​

    DROP TABLE IF EXISTS `empsinfo`;
    CREATE TABLE `empsinfo` (
    `ID` int NOT NULL,
    `NAME` varchar(10) DEFAULT NULL,
    `AGE` decimal(3,0) DEFAULT NULL,
    `EMPNO` int DEFAULT NULL,
    PRIMARY KEY (`ID`)
    ) ;
    
    INSERT INTO `empsinfo` (`ID`, `NAME`, `AGE`, `EMPNO`) VALUES (10001, 'WARD', 25, 7521);
    -- ID 为 10006 与 10001 的是重复数据 --
    INSERT INTO `empsinfo` (`ID`, `NAME`, `AGE`, `EMPNO`) VALUES (10006, 'WARD', 25, 7521);
    INSERT INTO `empsinfo` (`ID`, `NAME`, `AGE`, `EMPNO`) VALUES (10002, 'JONES', 32, 7566);
    INSERT INTO `empsinfo` (`ID`, `NAME`, `AGE`, `EMPNO`) VALUES (10003, 'BLAKE', 15, 7698);
    INSERT INTO `empsinfo` (`ID`, `NAME`, `AGE`, `EMPNO`) VALUES (10004, 'SCOTT', 53, 7788);
    INSERT INTO `empsinfo` (`ID`, `NAME`, `AGE`, `EMPNO`) VALUES (10005, 'KING', 22, 7839);

模型配置

在关系型数据库输入组件中选择表empsinfo。

input

在排序记录组件中按照字段ID进行升序排序。通常在配合“去除重复记录”和“数据连接”时需要使用“排序记录”先进行排序。

该示例中，用户想去掉ID,NAME,EMPNO重复的数据，因此需要先按照这个三个字段进行排序（升序、降序均可）。

input

在去除重复记录组件中去掉ID,NAME,EMPNO重复的数据。

input

运行后，在日志栏中可以看到去掉重复记录后的结果。可以看到ID为10006的重复数据已经被去掉了。

input