本文旨在解决LangChain.js开发者在监控OpenAI模型令牌使用量和相关成本时遇到的挑战，尤其是在缺乏Python中`get_openai_callback()`直接对应功能的情况下。文章将详细介绍如何通过利用`ChatOpenAI`模型中的`handleLLMEnd`回调函数，精确地追踪每次模型运行的提示令牌、完成令牌及总令牌消耗，从而实现更精细的成本管理和性能分析。

在开发基于LangChain.js和OpenAI的项目时，准确追踪大型语言模型（LLM）的令牌消耗是优化成本和分析性能的关键一环。与LangChain Python框架中提供便捷的get_openai_callback()方法不同，LangChain.js目前并未提供一个直接的、等价的API来轻松获取每次链运行的令牌使用和成本信息，这给许多开发者带来了困扰。本文将详细阐述一种有效的方法，通过利用LangChain.js中LLM回调机制，实现对OpenAI模型令牌消耗的精确监控。

核心方法：利用handleLLMEnd回调函数

LangChain.js提供了强大的回调系统，允许开发者在LLM生命周期的不同阶段注入自定义逻辑。对于追踪令牌消耗，handleLLMEnd回调函数是理想的选择。这个函数会在每次LLM调用结束时被触发，并提供包含令牌使用信息的output参数。

实现步骤

1. 导入ChatOpenAI: 确保您正在使用langchain/chat_models/openai模块中的ChatOpenAI类，因为目前观察到此方法在ChatOpenAI上表现最为稳定，尤其是在特定模型版本下。
2. 定义令牌计数器: 初始化几个变量来累计不同类型的令牌消耗，例如totalCompletionTokens、totalPromptTokens和totalExecutionTokens。
3. 配置callbacks属性: 在实例化ChatOpenAI时，通过callbacks属性传入一个包含回调函数的数组。
4. 实现handleLLMEnd: 在回调对象中，定义handleLLMEnd方法。此方法接收output、runId等参数。关键在于从output.llmOutput?.tokenUsage中提取completionTokens、promptTokens和totalTokens。
5. 累加令牌: 将提取到的令牌数量累加到预定义的计数器中。

示例代码

以下是实现令牌追踪的完整代码示例：

import { ChatOpenAI } from 'langchain/chat_models/openai';
import { HumanMessage } from 'langchain/schema';

// 定义全局变量来累积令牌使用量
let totalCompletionTokens = 0;
let totalPromptTokens = 0;
let totalExecutionTokens = 0;

// 实例化ChatOpenAI模型，并配置回调函数
const llm = new ChatOpenAI({
    // 配置回调数组
    callbacks: [
      {
        // handleLLMEnd在LLM调用结束后触发
        handleLLMEnd: (output, runId, parentRunId?, tags?) => {
          // 从output中安全地提取tokenUsage信息
          const { completionTokens, promptTokens, totalTokens } = output.llmOutput?.tokenUsage || {};

          // 累加令牌数量，确保处理undefined情况
          totalCompletionTokens += completionTokens ?? 0;
          totalPromptTokens += promptTokens ?? 0;
          totalExecutionTokens += totalTokens ?? 0;

          console.log(`--- LLM Run ID: ${runId} ---`);
          console.log(`Prompt Tokens: ${promptTokens ?? 0}`);
          console.log(`Completion Tokens: ${completionTokens ?? 0}`);
          console.log(`Total Tokens for this run: ${totalTokens ?? 0}`);
          console.log(`Current Accumulated Total Tokens: ${totalExecutionTokens}`);
        },
      },
    ],
    // 推荐使用特定的模型版本，例如 'gpt-3.5-turbo-0613'
    // 注意：某些模型或版本可能存在令牌统计不准确的问题
    modelName: 'gpt-3.5-turbo-0613', 
    // 其他OpenAI API参数，例如 temperature, openAIApiKey等
    temperature: 0.7,
    openAIApiKey: process.env.OPENAI_API_KEY, // 确保从环境变量获取API Key
});

// 示例：执行一次LLM调用
async function runExampleChat() {
    console.log("Starting LLM call...");
    const response = await llm.call([
        new HumanMessage("请用一句话介绍一下大型语言模型。"),
    ]);
    console.log("LLM Response:", response.content);
    console.log("\n--- Final Token Usage Summary ---");
    console.log(`Total Prompt Tokens Across All Runs: ${totalPromptTokens}`);
    console.log(`Total Completion Tokens Across All Runs: ${totalCompletionTokens}`);
    console.log(`Total Execution Tokens Across All Runs: ${totalExecutionTokens}`);

    // 重置计数器以便进行下一次独立测试（可选）
    totalCompletionTokens = 0;
    totalPromptTokens = 0;
    totalExecutionTokens = 0;
}

// 调用示例函数
runExampleChat().catch(console.error);

// 示例：执行另一次LLM调用
async function runAnotherExampleChat() {
    console.log("\nStarting another LLM call...");
    const response = await llm.call([
        new HumanMessage("解释一下云计算的优势。"),
    ]);
    console.log("LLM Response:", response.content);
    console.log("\n--- Final Token Usage Summary ---");
    console.log(`Total Prompt Tokens Across All Runs: ${totalPromptTokens}`);
    console.log(`Total Completion Tokens Across All Runs: ${totalCompletionTokens}`);
    console.log(`Total Execution Tokens Across All Runs: ${totalExecutionTokens}`);
}

// 可以在适当的时机调用 runAnotherExampleChat()
// setTimeout(() => runAnotherExampleChat().catch(console.error), 3000);

代码解析

• output.llmOutput?.tokenUsage: 这是获取令牌使用信息的关键路径。llmOutput是一个可选属性，其中包含LLM的详细输出信息，而tokenUsage则是一个对象，包含了completionTokens（模型生成的令牌）、promptTokens（输入给模型的令牌）和totalTokens（总令牌）。
• ?? 0: 使用空值合并运算符确保即使tokenUsage属性或其子属性为undefined，也能安全地将其视为0，避免计算错误。
• modelName: 'gpt-3.5-turbo-0613': 这是一个重要的注意事项。根据社区反馈，在LangChain.js的某些版本（如0.0.116）中，令牌统计功能在使用ChatOpenAI和特定模型（如gpt-3.5-turbo-0613）时更为可靠。使用其他LLM类或模型可能无法正确返回令牌信息，这可能是一个框架特性或潜在的bug。

注意事项与成本计算

1. 模型兼容性: 强烈建议使用ChatOpenAI类，并尝试使用如gpt-3.5-turbo-0613或更新的聊天模型版本。如果遇到令牌统计不准确的问题，首先检查所使用的LLM类和模型版本。
2. 全局计数器: 示例中使用了全局变量来累积令牌。在实际生产环境中，您可能需要更复杂的管理方式，例如将这些计数器封装在一个服务或类中，或者与日志系统、监控系统集成。
3. 成本计算: 一旦获取了promptTokens和completionTokens，就可以根据OpenAI的官方定价模型来计算成本。OpenAI通常会为输入（prompt）和输出（completion）令牌设定不同的费率。
   • 例如，如果Prompt Token价格为P美元/千令牌，Completion Token价格为C美元/千令牌，则总成本可以计算为： Cost = (totalPromptTokens / 1000) * P + (totalCompletionTokens / 1000) * C 请务必查阅OpenAI的最新定价页面以获取准确的费率。
4. 异步与并发: 如果您的应用涉及大量并发的LLM调用，确保您的令牌计数器能够正确处理并发写入，例如使用原子操作或适当的锁机制（在JavaScript中可能需要考虑更高级的并发控制策略，或者将计数逻辑放在单线程事件循环中）。

总结

尽管LangChain.js目前没有像Python那样直接的get_openai_callback()方法来获取令牌消耗，但通过利用ChatOpenAI的callbacks属性和handleLLMEnd回调函数，开发者可以有效地追踪每次LLM调用的令牌使用情况。这种方法不仅有助于精确监控成本，还能为性能分析和资源优化提供宝贵的数据。在实施时，请务必关注模型兼容性、成本计算逻辑以及在复杂应用场景下的计数器管理。