PrimetonDWS

Appearance

操作指南/数据开发/项目开发/数据加工-转换作业开发/脚本/JAVA/JAVA组件使用说明

JAVA组件使用说明 ​

组件说明 ​

JAVA 组件允许输入用户定义的Java类来完成步骤的功能。该组件的目标是不允许用户在步骤内进行全面的 Java 开发。允许用户用尽可能少的代码定义方法和逻辑，并尽可能快地执行。

JAVA组件编写 Java 程序，采用 Java 组件中所提供的方法类似于组件开发的内容，是组件开发的一个子集，仅能够实现组件开发的 processRow 方法、init 方法和 dispose 方法。

  1. 不需要完整的 Java 类，只需要类体：用户需要导入、构造函数和方法。
  2. 该组件仅适合编写一些简单的逻辑转换不适合编写复杂的逻辑转换。如果要处理的逻辑转换比较复杂建议开发新的组件来完成。
  3. 如果需要进行大量的 Java 开发，建议用户在 Eclipse 等 Java IDE 中进行，而不是在 Java 组件中。通过将 Java 代码放入 jar 文件中，并将该库放置在 DI 的类路径中。

配置项说明 ​

配置名称数据类型是否必须默认值描述
节点名称String是-当前创建的节点名称，由用户自定义且不可为空。命名可包含字母、数字、下划线。
字段列表String是-当有java程序中有新增字段生成输出，需在该处指定新生成字段相关信息。
参数列表String是-定义输入参数，例如，指定从输入流中获取值的字段名称。
消息步骤String是-指定输入流来源步骤。
目标步骤String是-指定输入流输出步骤。
Code Snippits/Common useString是-Main：生成主类模板。init：定义一些初始化资源。dispose：正常执行完毕还是异常执行完毕，调用该方法，可用于释放资源。

方法说明：

Common use(常用) ​

Main ​

方法说明：生成processRow方法默认实现，用于进行数据转换操作，该方法只要上一个步骤有数据传递过来，会一直执行该方法，直到上一个步骤传递过来的数据被全部处理完。
方法使用：

public boolean processRow(StepMetaInterface smi,StepDataInterface sdi) throws DataInterfaceException{
    Object[] r = getRow();
    if(r == null){
        setOutputDone();
        return false;  
    }
    if(first){
        first = false;
    }
    
    r = createOutputRow(r,data.outputRowMeta.size());
    
    putRow(data.outputRowMeta,r);
    
    return true;
}

Implement init ​

方法说明：生成init方法默认实现,用于数据初始化，在进行init方法之后才会执行processRow方法。
方法使用：

public void init(StepMetaInterface smi,StepDataInterface sdi){
    parent.init(smi,sdi);
}

Implement dispose ​

方法说明：生成dispose方法默认实现，用于在数据转换完成后的数据关闭操作，执行完processRow方法后才会调用该方法。
方法使用：

public void dispose(StepMetaInterface smi,StepDataInterface sdi){
  parent.dispose(smi,sdi);
}

getRow ​

方法说明：该方法能够获取上一个步骤处理完后的一行数据，这个方一般在processRow方法中使用。
方法使用：Object[] row = getRow();

getRowFrom ​

方法说明：该方法能够获取上一个特定步骤处理完后的一行数据，这个方一般在processRow方法中使用。
方法使用：Object[] row = getRowFrom(rowSet);

putRow ​

方法说明：这个方法用于将处理完成后的记录传递给下一个步骤，这个方一般在processRow方法中使用。
方法使用：putRow(data,outputRowMeta,r);

putRowTo ​

方法说明：这个方法用于将处理完成后的记录传递给下一个特定步骤，这个方一般在processRow方法中使用。
方法使用：putRowTo(rowMeta,row,rowSet);

putError ​

方法说明：这个方法是在处理数据时如果遇到异常产生错误信息后，将错误信息传递给异常连线的步骤时使用，这个方一般在processRow方法中使用。
方法使用：putError(rowMeta,row,nrErrors,errorDescriptions,fieldNames,erroeCodes);

setErrors ​

方法说明：这个方法是在处理数据时如果遇到异常产生错误信息后停止作业执行，这个方一般在processRow方法中使用。
方法使用：setErrors(1);

stopAll ​

方法说明：这个方法用于停止转换运行，这个方一般在processRow方法中使用。
方法使用：stopAll();

setOutputDone ​

方法说明：这个方法用于步骤处理完数据时停止步骤运行，这个方一般在processRow方法中使用。
方法使用：setOutputDone();

getVariable ​

方法说明：这个方法用于获取变量值，这个方一般在processRow方法中使用。
方法使用：String getVariable = getVariable(variableName,defaultValue);

checkFeedback ​

方法说明：这个方法用于检查处理记录数，这个方一般在processRow方法中使用。
方法使用：boolean checkFeedback = checkFeedback(lines);

addResultFile ​

方法说明：这个方法用于添加结果文件，这个方一般在processRow方法中使用。
方法使用：addResultFile(resultFile);

getResultFiles ​

方法说明：这个方法用于获取结果文件，这个方一般在processRow方法中使用。
方法使用：Map getResultFiles = getResultFiles();

Step status(步骤状态) ​

incrementLinesInput ​

方法说明：这个方法用于添加输入记录数，这个方一般在processRow方法中使用。
方法使用：long incrementLinesInput = incrementLinesInput();

incrementLinesOutput ​

方法说明：这个方法用于添加输出记录数，这个方一般在processRow方法中使用。
方法使用：long incrementLinesOutput = incrementLinesOutput();

incrementLinesRead ​

方法说明：这个方法用于添加读取记录数，这个方一般在processRow方法中使用。
方法使用：long incrementLinesRead = incrementLinesRead();

incrementLinesRejected ​

方法说明：这个方法用于添加拒绝记录数，这个方一般在processRow方法中使用。
方法使用：long incrementLinesRejected = incrementLinesRejected();

incrementLinesSkipped ​

方法说明：这个方法用于添加错误记录数，这个方一般在processRow方法中使用。
方法使用：long incrementLinesSkipped = incrementLinesSkipped();

incrementLinesUpdated ​

方法说明：这个方法用于添加更新记录数，这个方一般在processRow方法中使用。
方法使用：long incrementLinesUpdated = incrementLinesUpdated();

incrementLinesWritten ​

方法说明：这个方法用于添加写记录数，这个方一般在processRow方法中使用。
方法使用：long incrementLinesWritten = incrementLinesWritten();

getLinesInput ​

方法说明：这个方法用于获取输入记录数，这个方一般在processRow方法中使用。
方法使用：long getLinesInput = getLinesInput();

getLinesOutput ​

方法说明：这个方法用于获取输出记录数，这个方一般在processRow方法中使用。
方法使用：long getLinesOutput = getLinesOutput();

getLinesRead ​

方法说明：这个方法用于获取读取记录数，这个方一般在processRow方法中使用。
方法使用：long getLinesRead = getLinesRead();

getLinesRejected ​

方法说明：这个方法用于获取拒绝记录数，这个方一般在processRow方法中使用。
方法使用：long getLinesRejected = getLinesRejected();

getLinesSkipped ​

方法说明：这个方法用于获取错误记录数，这个方一般在processRow方法中使用。
方法使用：long getLinesSkipped = getLinesSkipped();

getLinesUpdated ​

方法说明：这个方法用于获取更新记录数，这个方一般在processRow方法中使用。
方法使用：long getLinesUpdated = getLinesUpdated();

getLinesWritten ​

方法说明：这个方法用于获取写记录数，这个方一般在processRow方法中使用。
方法使用：long getLinesWritten = getLinesWritten();

getProcessed ​

方法说明：这个方法用于获取处理记录数，这个方一般在processRow方法中使用。
方法使用：long getProcessed = getProcessed();

getStatus ​

方法说明：这个方法用于获取执行状态，这个方一般在processRow方法中使用。
方法使用：StepExecutionStatus getStatus = getStatus();

getStatusDescription ​

方法说明：这个方法用于获取执行状态描述，这个方一般在processRow方法中使用。
方法使用：String getStatusDescription = getStatusDescription();

setLinesInput ​

方法说明：这个方法用于设置输入操作数，这个方一般在processRow方法中使用。
方法使用：setLinesInput(newLinesInputValue);

setLinesOutput ​

方法说明：这个方法用于设置输出操作数，这个方一般在processRow方法中使用。
方法使用：setLinesOutput(newLinesOutputValue);

setLinesRead ​

方法说明：这个方法用于设置读取操作数，这个方一般在processRow方法中使用。
方法使用：setLinesRead(newLinesReadValue);

setLinesRejected ​

方法说明：这个方法用于设置拒绝操作数，这个方一般在processRow方法中使用。
方法使用：setLinesRejected(linesRejected);

setLinesSkipped ​

方法说明：这个方法用于设置错误操作数，这个方一般在processRow方法中使用。
方法使用：setLinesSkipped(newLinesSkippedValue);

setLinesUpdated ​

方法说明：这个方法用于设置更新操作数，这个方一般在processRow方法中使用。
方法使用：setLinesUpdated(newLinesUpdatedValue);

setLinesWritten ​

方法说明：这个方法用于设置写操作数，这个方一般在processRow方法中使用。
方法使用：setLinesWritten(newLinesWrittenValue);

Setp Logging(日志) ​

logBasic ​

方法说明：这个方法用于记录基本日志。
方法使用：logBasic(msg);

logDebug ​

方法说明：这个方法用于记录调试日志。
方法使用：logDebug(msg);

logDetailed ​

方法说明：这个方法用于记录详细日志。
方法使用：logDetailed(msg);

logError ​

方法说明：这个方法用于记录错误日志。
方法使用：logError(msg);logError(msg,e);

logMinimal ​

方法说明：这个方法用于记录最小日志。
方法使用：logMinimal(msg);

logRowlevel ​

方法说明：这个方法用于记录行级日志。
方法使用：logRowlevel(msg);

Step/Row Listeners(步骤监听) ​

addRowListener ​

方法说明：这个方法用于添加行监听器。
方法使用：addRowListener(rowListener);

addStepListener ​

方法说明：这个方法用于添加步骤监听器。
方法使用：addStepListener(stepListener);

getRowListeners ​

方法说明：这个方法用于获取行监听器。
方法使用：List getRowListeners = getRowListeners();

getStepListeners ​

方法说明：这个方法用于获取步骤监听器。
方法使用：List getStepListeners = getStepListeners();

removeRowListener ​

方法说明：这个方法用于删除行监听器。
方法使用：removeRowListener(rowListener);

Row manipulation(数据操作) ​

getInputRowMeta ​

方法说明：这个方法用于获取行的元数据。
方法使用：RowMetaInterface getInputRowMeta = getInputRowMeta();

getErrorRowMeta ​

方法说明：这个方法用于获取异常行的元数据。
方法使用：RowMetaInterface getErrorRowMeta = getErrorRowMeta();

getInputRowSets ​

方法说明：这个方法用于获取上一步骤集合。
方法使用：List getInputRowSets = getInputRowSets();

getOutputRowSets ​

方法说明：这个方法用于获取下一步骤集合。
方法使用：List getOutputRowSets = getOutputRowSets();

findInputRowSet ​

方法说明：这个方法用于查找上一步骤。
方法使用：RowSet findInputRowSet = findInputRowSet(sourceStep)

findOutputRowSet ​

方法说明：这个方法用于查找下一步骤。
方法使用：RowSet findOutputRowSet = findOutputRowSet(targetStep);

Uncommon use(常见操作) ​

getStepMeta ​

方法说明：这个方法用于获取步骤元数据信息。
方法使用：StepMeta getStepMeta = getStepMeta();

getTrans ​

方法说明：这个方法用于获取转换信息。
方法使用：Trans getTrans = getTrans();

getTransMeta ​

方法说明：这个方法用于获取转换元数据信息。
方法使用：TransMeta getTransMeta = getTransMeta();

getSetpDataInterface ​

方法说明：这个方法用于获取组件数据信息。
方法使用：SetpDataInterface getSetpDataInterface = getSetpDataInterface();

getPartitionID ​

方法说明：这个方法用于获取分区信息。
方法使用：String getPartitionID = getPartitionID();

getPartitionTargets ​

方法说明：这个方法用于获取下一步骤分区信息。
方法使用：Map getPartitionTargets = getPartitionTargets();

getRepartitioning ​

方法说明：这个方法用于获取分区个数。
方法使用：int getRepartitioning = getRepartitioning();

isParitioned ​

方法说明：这个方法用于判断是否存在分区。
方法使用：boolean isParitioned = isParitioned();

getClusterSize ​

方法说明：这个方法用于获取集群个数。
方法使用：int getClusterSize = getClusterSize();

getErrors ​

方法说明：这个方法用于获取错误数。
方法使用：long getErrors = getErrors();

getRuntime ​

方法说明：这个方法用于获取运行时长。
方法使用：long getRuntime = getRuntime();

getSlaveNr ​

方法说明：这个方法用于获取子服务器个数。
方法使用：int getSlaveNr = getSlaveNr();

getStepname ​

方法说明：这个方法用于获取步骤名称。
方法使用：String getStepname = getStepname();

setVariable ​

方法说明：这个方法用于设置变量。
方法使用：setVariable(variableName,variableValue);