com.aliyun.odps.pipeline

Class Pipeline.TransformNode

java.lang.Object

com.aliyun.odps.pipeline.Pipeline.TransformNode

Direct Known Subclasses:

Pipeline.MapNode, Pipeline.ReduceNode

Enclosing class:

Pipeline

public abstract static class Pipeline.TransformNode
extends Object

Pipeline的节点，是一个Mapper或者Reducer

Constructor Summary

Constructors

Constructor and Description
Pipeline.TransformNode()

Method Summary

Methods

Modifier and Type	Method and Description
String[]	getInputGroupingColumns() 获取本节点输入的Grouping列，也就是前一节点输出的Grouping列
Class<? extends RecordComparator>	getInputKeyComparatorClass() 获取本节点输入 Key 的排序比较器，默认返回上级节点的#getOutputKeyComparatorClass, 如果没有上级节点则返回null.
Class<? extends RecordComparator>	getInputKeyGroupingComparatorClass() 获取本节点输入 Key 的分组比较器，默认返回上级节点的#getOutputKeyGroupingComparatorClass, 如果没有上级节点则返回null.
Column[]	getInputKeySchema() 获取本节点的输入数据Key Schema
Column[]	getInputValueSchema() 获取本节点的输入数据Value Schema
int	getMemoryForJVM()
int	getMemoryForTask()
Pipeline.TransformNode	getNextNode() 获取Pipeline上的后一个节点
int	getNumTasks()
String[]	getOutputGroupingColumns() 获取输出分组的列
Class<? extends RecordComparator>	getOutputKeyComparatorClass() 获取指定的节点输出 Key 排序比较器，如果没有指定，默认使用 WritableComparator.get(Class) 返回的比较函数.
Class<? extends RecordComparator>	getOutputKeyGroupingComparatorClass() 获取指定的 Key 分组比较器，默认为 getOutputKeyComparatorClass().
Column[]	getOutputKeySchema() 获取本节点的输出Key格式
String[]	getOutputKeySortColumns() 获取输出排序的列
JobConf.SortOrder[]	getOutputKeySortOrder() 获取输出按Key的排序方式
Column[]	getOutputValueSchema() 获取本节点的输出Value格式
String[]	getPartitionColumns() 获取输出数据切分列
Class<? extends Partitioner>	getPartitionerClass() 获取自定义的切分class
Pipeline.TransformNode	getPreviousNode() 获取Pipeline上的前一个节点
abstract Class	getTransformClass() 获取节点对应的Mapper或Reducer class定义
String	getType() 获取Pipeline节点的类型
void	setMemoryForJVM(int mem) 设置当前节点的JVM虚拟机的内存资源大小，单位：MB，默认值：1024.
void	setMemoryForTask(int mem) 设置当前节点的内存资源大小，单位：MB，默认值：2048.
void	setNextNode(Pipeline.TransformNode next) 设置Pipeline上的后一个节点
void	setNumTasks(int n) 设置当前节点任务数
void	setOutputGroupingColumns(String[] groupCols) 设置输出分组的列，如果不指定，默认按照输出Key分组
void	setOutputKeyComparatorClass(Class<? extends RecordComparator> theClass) 设置输出 Key 排序比较器.
void	setOutputKeyGroupingComparatorClass(Class<? extends RecordComparator> theClass) 设置 Key 分组比较器，如果不指定，默认使用 getOutputKeyComparatorClass() 作为分组比较器.
void	setOutputKeySchema(Column[] keySchema) 设置本节点的输出Key格式
void	setOutputKeySortColumns(String[] sortCols) 设置输出排序的列
void	setOutputKeySortOrder(JobConf.SortOrder[] order) 设置输出按Key的排序方式
void	setOutputValueSchema(Column[] valueSchema) 设置本节点的输出Value格式
void	setPartitionColumns(String[] partCols) 设置输出Partition的列
void	setPartitionerClass(Class<? extends Partitioner> theClass) 设置自定义的数据切分的class
void	setPreviousNode(Pipeline.TransformNode prev) 设置Pipeline上的前一个节点

Methods inherited from class java.lang.Object

equals, getClass, hashCode, notify, notifyAll, toString, wait, wait, wait

Constructor Detail

Pipeline.TransformNode

public Pipeline.TransformNode()

Method Detail

getType

public String getType()

获取Pipeline节点的类型

Returns:

字符串，map 或者 reduce

setPreviousNode

public void setPreviousNode(Pipeline.TransformNode prev)

设置Pipeline上的前一个节点

Parameters:

prev - 前一个节点

getPreviousNode

public Pipeline.TransformNode getPreviousNode()

获取Pipeline上的前一个节点

Returns:

前一个节点

setNextNode

public void setNextNode(Pipeline.TransformNode next)

设置Pipeline上的后一个节点

Parameters:

next - 后一个节点

getNextNode

public Pipeline.TransformNode getNextNode()

获取Pipeline上的后一个节点

Returns:

后一个节点

getInputKeySchema

public Column[] getInputKeySchema()

获取本节点的输入数据Key Schema

Returns:

输入数据的Key Schema

getInputValueSchema

public Column[] getInputValueSchema()

获取本节点的输入数据Value Schema

Returns:

输入数据的Value Schema，如果是Pipeline的第一个节点，则返回null

getInputGroupingColumns

public String[] getInputGroupingColumns()

获取本节点输入的Grouping列，也就是前一节点输出的Grouping列

Returns:

Grouping列，如果是Pipeline的第一个节点，则返回null

setOutputKeySchema

public void setOutputKeySchema(Column[] keySchema)

设置本节点的输出Key格式

Parameters:

keySchema - Key格式

getOutputKeySchema

public Column[] getOutputKeySchema()

获取本节点的输出Key格式

Returns:

Key Schema列定义

setOutputValueSchema

public void setOutputValueSchema(Column[] valueSchema)

设置本节点的输出Value格式

Parameters:

valueSchema - Value格式

getOutputValueSchema

public Column[] getOutputValueSchema()

获取本节点的输出Value格式

Returns:

Value Schema列定义

setOutputKeySortOrder

public void setOutputKeySortOrder(JobConf.SortOrder[] order)

设置输出按Key的排序方式

Parameters:

order - 排序方式，是升序还是降序

getOutputKeySortOrder

public JobConf.SortOrder[] getOutputKeySortOrder()

获取输出按Key的排序方式

Returns:

Key排序方式，是升序还是降序

setOutputKeySortColumns

public void setOutputKeySortColumns(String[] sortCols)

设置输出排序的列

Parameters:

sortCols - 排序列

getOutputKeySortColumns

public String[] getOutputKeySortColumns()

获取输出排序的列

Returns:

输出排序的列，如果没有显式指定，则按照输出Key排序

setPartitionColumns

public void setPartitionColumns(String[] partCols)

设置输出Partition的列

Parameters:

partCols - Partition列

getPartitionColumns

public String[] getPartitionColumns()

获取输出数据切分列

Returns:

输出数据切分列，如果没有显式指定，则按照输出Key做切分

setPartitionerClass

public void setPartitionerClass(Class<? extends Partitioner> theClass)

设置自定义的数据切分的class

Parameters:

theClass - 切分的class

getPartitionerClass

public Class<? extends Partitioner> getPartitionerClass()

获取自定义的切分class

Returns:

切分class

setOutputGroupingColumns

public void setOutputGroupingColumns(String[] groupCols)

设置输出分组的列，如果不指定，默认按照输出Key分组

Parameters:

groupCols - 分组列

getOutputGroupingColumns

public String[] getOutputGroupingColumns()

获取输出分组的列

Returns:

分组列，如果不显式指定，默认返回输出Key

getInputKeyComparatorClass

public Class<? extends RecordComparator> getInputKeyComparatorClass()

获取本节点输入 Key 的排序比较器，默认返回上级节点的#getOutputKeyComparatorClass, 如果没有上级节点则返回null.

Returns:

输入 Key 排序比较器.

See Also:

RecordComparator

getInputKeyGroupingComparatorClass

public Class<? extends RecordComparator> getInputKeyGroupingComparatorClass()

获取本节点输入 Key 的分组比较器，默认返回上级节点的#getOutputKeyGroupingComparatorClass, 如果没有上级节点则返回null.

Returns:

输入 Key 的分组比较器.

See Also:

RecordComparator

getOutputKeyComparatorClass

public Class<? extends RecordComparator> getOutputKeyComparatorClass()

获取指定的节点输出 Key 排序比较器，如果没有指定，默认使用 WritableComparator.get(Class) 返回的比较函数.

Returns:

输出 Key 排序比较器.

See Also:

RecordComparator

setOutputKeyComparatorClass

public void setOutputKeyComparatorClass(Class<? extends RecordComparator> theClass)

设置输出 Key 排序比较器.

Parameters:

theClass - 用于输出 Key 排序的比较器，RecordComparator 子类

getOutputKeyGroupingComparatorClass

public Class<? extends RecordComparator> getOutputKeyGroupingComparatorClass()

获取指定的 Key 分组比较器，默认为 getOutputKeyComparatorClass().

Returns:

Key 分组比较器

See Also:

setOutputKeyGroupingComparatorClass(Class)

setOutputKeyGroupingComparatorClass

public void setOutputKeyGroupingComparatorClass(Class<? extends RecordComparator> theClass)

设置 Key 分组比较器，如果不指定，默认使用 getOutputKeyComparatorClass() 作为分组比较器.

Parameters:

theClass - Key 分组比较器，实现 RecordComparator接口

See Also:

setOutputKeyComparatorClass(Class)

getTransformClass

public abstract Class getTransformClass()

获取节点对应的Mapper或Reducer class定义

Returns:

setNumTasks

public void setNumTasks(int n)

设置当前节点任务数

Parameters:

n - 任务数

getNumTasks

public int getNumTasks()

setMemoryForTask

public void setMemoryForTask(int mem)

设置当前节点的内存资源大小，单位：MB，默认值：2048.

Parameters:

mem - 内存大小

getMemoryForTask

public int getMemoryForTask()

setMemoryForJVM

public void setMemoryForJVM(int mem)

设置当前节点的JVM虚拟机的内存资源大小，单位：MB，默认值：1024.

Parameters:

mem - 内存大小

getMemoryForJVM

public int getMemoryForJVM()