Algoritmo de procesamiento de texto con modelos de lenguaje basados en transformers utilizando la biblioteca Hugging Face

Vista previa del material en texto

Algoritmo de procesamiento de texto con modelos de lenguaje basados en transformers utilizando la biblioteca Hugging Face:
from transformers import TFAutoModelForSequenceClassification, AutoTokenizer
import tensorflow as tf
# Cargar el modelo preentrenado
model_name = 'bert-base-uncased'
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = TFAutoModelForSequenceClassification.from_pretrained(model_name)
# Tokenizar el texto de entrada
input_text = "This is an example sentence."
inputs = tokenizer(input_text, return_tensors='tf')
# Realizar inferencia con el modelo
outputs = model(inputs)
# Obtener las predicciones
predictions = tf.nn.softmax(outputs.logits, axis=-1)