public class ChatCompletionRequest extends AbstractModel
header, skipSign
Constructor and Description |
---|
ChatCompletionRequest() |
ChatCompletionRequest(ChatCompletionRequest source)
NOTE: Any ambiguous key set via .set("AnyKey", "value") will be a shallow copy,
and any explicit key, i.e Foo, set via .setFoo("value") will be a deep copy.
|
Modifier and Type | Method and Description |
---|---|
Long |
getMaxTokens()
Get 仅当模型为自行部署的开源大模型时生效。最大生成的token数目。默认为无限大。
|
Message[] |
getMessages()
Get 输入对话历史。旧的对话在前,数组中最后一项应该为这次的问题。
|
String |
getModel()
Get 对话的目标模型ID。
自行部署的开源大模型聊天:部署的模型服务组ID,形如ms-xxyyzz。
|
Float |
getTemperature()
Get 仅当模型为自行部署的开源大模型时生效。采样随机值,默认值为1.0,取值范围[0,2]。较高的值(如0.8)将使输出更加随机,而较低的值(如0.2)将使输出更加确定。建议仅修改此参数或TopP,但不建议两者都修改。
|
Float |
getTopP()
Get 仅当模型为自行部署的开源大模型时生效。核采样,默认值为1,取值范围[0,1]。指的是预先设置一个概率界限 p,然后将所有可能生成的token,根据概率大小从高到低排列,依次选取。当这些选取的token的累积概率大于或等于 p 值时停止,然后从已经选取的token中进行采样,生成下一个token。例如top_p为0.1时意味着模型只考虑累积概率为10%的token。建议仅修改此参数或Temperature,不建议两者都修改。
|
void |
setMaxTokens(Long MaxTokens)
Set 仅当模型为自行部署的开源大模型时生效。最大生成的token数目。默认为无限大。
|
void |
setMessages(Message[] Messages)
Set 输入对话历史。旧的对话在前,数组中最后一项应该为这次的问题。
|
void |
setModel(String Model)
Set 对话的目标模型ID。
自行部署的开源大模型聊天:部署的模型服务组ID,形如ms-xxyyzz。
|
void |
setTemperature(Float Temperature)
Set 仅当模型为自行部署的开源大模型时生效。采样随机值,默认值为1.0,取值范围[0,2]。较高的值(如0.8)将使输出更加随机,而较低的值(如0.2)将使输出更加确定。建议仅修改此参数或TopP,但不建议两者都修改。
|
void |
setTopP(Float TopP)
Set 仅当模型为自行部署的开源大模型时生效。核采样,默认值为1,取值范围[0,1]。指的是预先设置一个概率界限 p,然后将所有可能生成的token,根据概率大小从高到低排列,依次选取。当这些选取的token的累积概率大于或等于 p 值时停止,然后从已经选取的token中进行采样,生成下一个token。例如top_p为0.1时意味着模型只考虑累积概率为10%的token。建议仅修改此参数或Temperature,不建议两者都修改。
|
void |
toMap(HashMap<String,String> map,
String prefix)
Internal implementation, normal users should not use it.
|
any, fromJsonString, getBinaryParams, GetHeader, getMultipartRequestParams, getSkipSign, isStream, set, SetHeader, setParamArrayObj, setParamArraySimple, setParamObj, setParamSimple, setSkipSign, toJsonString
public ChatCompletionRequest()
public ChatCompletionRequest(ChatCompletionRequest source)
public String getModel()
public void setModel(String Model)
Model
- 对话的目标模型ID。
自行部署的开源大模型聊天:部署的模型服务组ID,形如ms-xxyyzz。public Message[] getMessages()
public void setMessages(Message[] Messages)
Messages
- 输入对话历史。旧的对话在前,数组中最后一项应该为这次的问题。public Float getTemperature()
public void setTemperature(Float Temperature)
Temperature
- 仅当模型为自行部署的开源大模型时生效。采样随机值,默认值为1.0,取值范围[0,2]。较高的值(如0.8)将使输出更加随机,而较低的值(如0.2)将使输出更加确定。建议仅修改此参数或TopP,但不建议两者都修改。public Float getTopP()
public void setTopP(Float TopP)
TopP
- 仅当模型为自行部署的开源大模型时生效。核采样,默认值为1,取值范围[0,1]。指的是预先设置一个概率界限 p,然后将所有可能生成的token,根据概率大小从高到低排列,依次选取。当这些选取的token的累积概率大于或等于 p 值时停止,然后从已经选取的token中进行采样,生成下一个token。例如top_p为0.1时意味着模型只考虑累积概率为10%的token。建议仅修改此参数或Temperature,不建议两者都修改。public Long getMaxTokens()
public void setMaxTokens(Long MaxTokens)
MaxTokens
- 仅当模型为自行部署的开源大模型时生效。最大生成的token数目。默认为无限大。Copyright © 2024. All rights reserved.