返回资讯中心
外部精选
大数据
#数据科学#机器学习

教程:用Scikit-LLM将LLM翻译集成到Scikit-Learn流水线

来源标题:Integrating LLM Translation into Your Scikit-Learn Pipelines with Scikit-LLM

一篇教程演示如何用Scikit-LLM构建两阶段scikit-learn流水线,实现多语言文本分类。该流水线先用一个预训练模型完成翻译、再用另一个模型做零样本分类,示例可在Google Colab中运行并调用Groq的免费LLM API。

KDnuggetsIván Palomares Carrascosa2026/11/10 · 7 天前24 分钟阅读

以下正文由 AI 翻译自 KDnuggets(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

文本分类有时需要处理用不同语言编写的原始文本,同时还面临一项额外挑战:需要将所有传入数据统一为一种语言,然后再提供给下游分类模型。幸运的是,Scikit-LLM 不仅便于构建由大语言模型(LLM)驱动的流水线,用于零样本和少样本分类等任务,还提供了自定义类,可将预训练模型适配到翻译等其他专门的语言任务上。

本文展示如何构建一个用于多语言文本分类的 overarching scikit-learn 流水线,它由两个主要阶段组成,且两个阶段均由 Scikit-LLM 封装的模型驱动:翻译和零样本分类。我将教你构建的这条流水线具有多项优势:

本示例完全可以在 Google Colab notebook 中运行。它使用 Groq 的 LLM API,从而完全依赖免费模型。前提条件是:前往 Groq 网站注册并生成你自己的 API key。生成后,请小心复制你的 API key(它只显示一次),并将其粘贴为 Google Colab 中的新“Secret”变量——你可以在 Colab 左侧的钥匙图标下找到该功能。在这里,粘贴你复制的 API key,并将该 secret 变量命名为 GROQ_API_KEY。

之后,我们通过安装 Scikit-LLM 来开始 notebook:

!pip install scikit-llm -q

现在,开始编写 Python 代码。第一步是配置 Scikit-LLM 周围的环境,将我们的请求通过 Groq 的 API 路由,而不是默认的 OpenAI API。这样做,我们就能利用 Groq 免费、易用的预训练模型,避免按 token 计费。

from google.colab import userdata from skllm.config import SKLLMConfig

Retrieving API key and route to a free-tier OpenAI-compatible endpoint (e.g. Groq)

groq_key = userdata.get('GROQ_API_KEY') SKLLMConfig.set_gpt_url("https://api.groq.com/openai/v1") SKLLMConfig.set_openai_key(groq_key)

接下来,我们定义“训练”数据。由于我们将使用零样本 LLM 分类器——而不是传统的、前面带有将文本数值映射的 vectorizer 的机器学习分类器——我们有一个优势:不需要大量、平衡的训练样本。我们只需要定义模型必须学会识别并用于预测的唯一分类标签集合,以及少量占位数据示例,以满足 Scikit-LLM 的 fit() 方法的最低要求,该方法模仿了其 scikit-learn 对应方法:

1. MULTILINGUAL TRAINING DATA

Adding a few labeled examples in mixed languages and multiple topics

X_multilingual_texts = [

Energy

"La technologie des panneaux solaires a vu son efficacité augmenter de 15%.", # French (Solar) "Neue Batteriespeicher für Windenergie werden immer wirtschaftlicher.", # German (Wind/Battery)

Finance

"Los mercados financieros sufrieron una fuerte caída hoy tras la subida de tipos.", # Spanish (Markets) "Les actions technologiques ont rebondi grâce à de solides rapports sur les bénéfices.", # French (Stocks/Earnings)

Healthcare

"Die klinische Studie für das neue Medikament reduzierte die Schwellung um 40%.", # German (Medication/Trial) "Un ensayo reciente demostró que la vacuna es muy eficaz para prevenir infecciones.", # Spanish (Vaccine) ] y_labels = ["Energy", "Energy", "Finance", "Finance", "Healthcare", "Healthcare"]

下一步是核心步骤:我们定义用于翻译后接零样本分类的两阶段流水线。这正是我们将 Scikit-LLM 将预训练 LLM 适配到特定任务的能力,集成到更广泛的、基于 scikit-learn 的机器学习流水线中的地方。

下面的代码使用了 Scikit-LLM 中两个任务特定的类:GPTTranslator 用于将基础 LLM 适配为翻译成一种通用语言,ZeroShotGPTClassifier 用于将另一个 LLM 适配到我们流水线中的后续任务,即对翻译后的文本进行分类,而无需重新训练模型。请注意,下面为两个阶段选择相同的 Groq 基础模型——“custom_url::llama-3.1-8b-instant”——是完全可以的:我们只是使用不同的类将两个模型实例适配到不同的目标任务。

from sklearn.pipeline import Pipeline from skllm.models.gpt.text2text.translation import GPTTranslator from skllm.models.gpt.classification.zero_shot import ZeroShotGPTClassifier

2. THE TRANSLATION AND ZERO-SHOT CLASSIFICATION PIPELINE

A scikit-learn-based pipeline that contains two Scikit-LLM-wrapped models

text_pipeline = Pipeline([ ('translator', GPTTranslator( model="custom_url::openai/gpt-oss-20b", output_language="English" )), ('classifier', ZeroShotGPTClassifier( model="custom_url::openai/gpt-oss-20b" )) ])

3. FITTING THE CLASSIFIER

ZeroShotGPTClassifier only needs to see the unique labels to understand the categories.

Passing a minimal placeholder list for X only to satisfy the scikit-learn API requirements.

y_labels_unique = ["Energy", "Finance", "Healthcare"] X_placeholder = [""] * len(y_labels_unique) text_pipeline.fit(X_placeholder, y_labels_unique)

在通过将新示例传入我们新构建的流水线来进行最后几次预测之前,我们先查看两个模型中的第一个模型为训练示例生成的翻译,以验证它们是否正确:

Accessing the 'translator' step to transform the training data

train_translations = text_pipeline.named_steps['translator'].transform(X_multilingual_texts) print("--- TRAINING DATA TRANSLATIONS ---") for label, original, translated in zip(y_labels, X_multilingual_texts, train_translations): print(f"[{label.upper()}]\nOriginal: {original}\nTranslated: {translated}\n")

输出:

--- TRAINING DATA TRANSLATIONS --- [ENERGY] Original: La technologie des panneaux solaires a vu son efficacité augmenter de 15%. Translated: The technology of solar panels has seen its efficiency increase by 15%. [ENERGY]

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →