NLP（九十）OpenAI的Chat_Completion_API中的logprobs参数

OpenAI的Chat Completion API中引入了logprobs参数。当logprobs参数被启用时，API会返回每个输出token的log概率，同时返回每个token位置最可能的几个token和它们的log概率。与之相关的两个参数：

logprobs：是否返回每个输出token的log概率
top_logprobs：整数，每个token位置最可能的token个数以及它们的log概率。若需使用该参数，则logprobs参数需设置为true.

在OpenAI的官方CookBook网站中，该网站给出了logprobs参数的介绍及可能的应用。

本文在此基础上，再给出一种可能的应用场景：双栏论文中的上下文连接。

双栏论文上下文连接

以LLAMA论文中的第三页为例，其版面分析的结果如下：

此时，我们想要知道左侧Optimizer下方的文本区域中的warmup之后的文字应该与哪个右侧的文本区域连接。

我们考虑使用OpenAI的Chat Completion API的logprobs参数，去观察warmup后的下一个token位置上最可能的几个token。

示例Python代码如下：

import os
from openai import OpenAI

client = OpenAI(api_key=os.getenv("OPENAI_API_KEY"))

query = "We use a weight decay of 0.1 and gradient clipping of 1.0. We use 2,000 warmup"

response = client.chat.completions.create(
    messages=[
        {
            "role": "user",
            "content": query
        }
    ],
    model="gpt-3.5-turbo",
    logprobs=True,
    top_logprobs=10
)

print(response.choices[0].logprobs.content[0].json())

输出结果如下：

{
    "token": " steps",
    "bytes": [
        32,
        115,
        116,
        101,
        112,
        115
    ],
    "logprob": -0.07665413,
    "top_logprobs": [
        {
            "token": " steps",
            "bytes": [
                32,
                115,
                116,
                101,
                112,
                115
            ],
            "logprob": -0.07665413
        },
        {
            "token": "steps",
            "bytes": [
                115,
                116,
                101,
                112,
                115
            ],
            "logprob": -2.6422403
        },
        {
            "token": "\n",
            "bytes": [
                10
            ],
            "logprob": -7.070091
        },
        {
            "token": " iterations",
            "bytes": [
                32,
                105,
                116,
                101,
                114,
                97,
                116,
                105,
                111,
                110,
                115
            ],
            "logprob": -7.86643
        },
        {
            "token": " ",
            "bytes": [
                32
            ],
            "logprob": -8.368307
        },
        {
            "token": "\n\n",
            "bytes": [
                10,
                10
            ],
            "logprob": -8.59561
        },
        {
            "token": "Steps",
            "bytes": [
                83,
                116,
                101,
                112,
                115
            ],
            "logprob": -8.9801445
        },
        {
            "token": " learning",
            "bytes": [
                32,
                108,
                101,
                97,
                114,
                110,
                105,
                110,
                103
            ],
            "logprob": -9.553173
        },
        {
            "token": " epochs",
            "bytes": [
                32,
                101,
                112,
                111,
                99,
                104,
                115
            ],
            "logprob": -9.626547
        },
        {
            "token": "_steps",
            "bytes": [
                95,
                115,
                116,
                101,
                112,
                115
            ],
            "logprob": -9.82288
        }
    ]
}