Сервис Upstage’s Groundedness Check предоставляет мощный API для проверки того, что ответы, сгенерированные искусственным интеллектом, основаны на надёжных исходных материалах. Отправка пар «контекст-ответ» в конечную точку Upstage позволяет мгновенно определить, поддерживает ли предоставленный контекст данный ответ, и получить оценку достоверности этого обоснования. В этом руководстве мы покажем, как использовать основные возможности Upstage, включая однократную проверку, пакетную обработку и мультидоменное тестирование, чтобы гарантировать, что наши системы искусственного интеллекта создают достоверный и заслуживающий доверия контент в различных предметных областях.
Установка необходимых компонентов
“`python
!pip install -qU langchain-core langchain-upstage
import os
import json
from typing import List, Dict, Any
from langchain_upstage import UpstageGroundednessCheck
os.environ[“UPSTAGEAPIKEY”] = “Use Your API Key Here”
“`
Мы устанавливаем последнюю версию LangChain и пакет интеграции с Upstage, импортируем необходимые модули Python для обработки данных и вводим ключ API Upstage в среду для аутентификации всех последующих запросов на проверку обоснованности.
Класс AdvancedGroundednessChecker
“`python
class AdvancedGroundednessChecker:
“””Advanced wrapper for Upstage Groundedness Check with batch processing and analysis”””
def init(self):
self.checker = UpstageGroundednessCheck()
self.results = []
def check_single(self, context: str, answer: str) -> Dict[str, Any]:
“””Check groundedness for a single context-answer pair”””
request = {“context”: context, “answer”: answer}
response = self.checker.invoke(request)
result = {
“context”: context,
“answer”: answer,
“grounded”: response,
“confidence”: self.extractconfidence(response)
}
self.results.append(result)
return result
def batchcheck(self, testcases: List[Dict[str, str]]) -> List[Dict[str, Any]]:
“””Process multiple test cases”””
batch_results = []
for case in test_cases:
result = self.check_single(case[“context”], case[“answer”])
batch_results.append(result)
return batch_results
def extractconfidence(self, response) -> str:
“””Extract confidence level from response”””
if hasattr(response, ‘lower’):
if ‘grounded’ in response.lower():
return ‘high’
elif ‘not grounded’ in response.lower():
return ‘low’
return ‘medium’
def analyze_results(self) -> Dict[str, Any]:
“””Analyze batch results”””
total = len(self.results)
grounded = sum(1 for r in self.results if ‘grounded’ in str(r[‘grounded’]).lower())
return {
“total_checks”: total,
“grounded_count”: grounded,
“notgroundedcount”: total – grounded,
“accuracy_rate”: grounded / total if total > 0 else 0
}
“`
Класс AdvancedGroundednessChecker оборачивает API обоснованности Upstage в простой, многократно используемый интерфейс, который позволяет нам запускать как одиночные, так и пакетные проверки контекста и ответов, накапливая результаты. Он также включает вспомогательные методы для извлечения метки достоверности из каждого ответа и вычисления общих статистических данных об точности по всем проверкам.
Примеры проверок
“`python
checker = AdvancedGroundednessChecker()
print(“=== Test Case 1: Height Discrepancy ===”)
result1 = checker.check_single(
context=”Mauna Kea is an inactive volcano on the island of Hawai’i.”,
answer=”Mauna Kea is 5,207.3 meters tall.”
)
print(f”Result: {result1[‘grounded’]}”)
print(“\n=== Test Case 2: Correct Information ===”)
result2 = checker.check_single(
context=”Python is a high-level programming language created by Guido van Rossum in 1991. It emphasizes code readability and simplicity.”,
answer=”Python was made by Guido van Rossum & focuses on code readability.”
)
print(f”Result: {result2[‘grounded’]}”)
print(“\n=== Test Case 3: Partial Information ===”)
result3 = checker.check_single(
context=”The Great Wall of China is approximately 13,000 miles long and took over 2,000 years to build.”,
answer=”The Great Wall of China is very long.”
)
print(f”Result: {result3[‘grounded’]}”)
print(“\n=== Test Case 4: Contradictory Information ===”)
result4 = checker.check_single(
context=”Water boils at 100 degrees Celsius at sea level atmospheric pressure.”,
answer=”Water boils at 90 degrees Celsius at sea level.”
)
print(f”Result: {result4[‘grounded’]}”)
“`
Мы запускаем четыре отдельные проверки обоснованности, охватывающие фактическую ошибку в высоте, правильное утверждение, расплывчатое частичное совпадение и противоречивое утверждение, используя AdvancedGroundednessChecker. Он печатает каждый результат Upstage, чтобы проиллюстрировать, как служба отмечает обоснованные и необоснованные ответы в различных сценариях.
Пакетная обработка
“`python
print(“\n=== Batch Processing Example ===”)
test_cases = [
{
“context”: “Shakespeare wrote Romeo and Juliet in the late 16th century.”,
“answer”: “Romeo and Juliet was written by Shakespeare.”
},
{
“context”: “The speed of light is approximately 299,792,458 meters per second.”,
“answer”: “Light travels at about 300,000 kilometers per second.”
},
{
“context”: “Earth has one natural satellite called the Moon.”,
“answer”: “Earth has two moons.”
}
]
batchresults = checker.batchcheck(test_cases)
for i, result in enumerate(batch_results, 1):
print(f”Batch Test {i}: {result[‘grounded’]}”)
“`
Выполняем серию пакетных проверок обоснованности на заранее определённых тестовых примерах, печатаем отдельные суждения Upstage, а затем вычисляем и отображаем общие показатели точности.
Многодоменное тестирование
“`python
def createtestreport(checker_instance):
“””Generate a detailed test report”””
report = {
“summary”: checkerinstance.analyzeresults(),
“detailedresults”: checkerinstance.results,
“recommendations”: []
}
accuracy = report[“summary”][“accuracy_rate”]
if accuracy < 0.7:
report[“recommendations”].append(“Consider reviewing answer generation process”)
if accuracy > 0.9:
report[“recommendations”].append(“High accuracy – system performing well”)
return report
print(“\n=== Final Test Report ===”)
report = createtestreport(checker)
print(f”Overall Performance: {report[‘summary’][‘accuracy_rate’]:.2%}”)
print(“Recommendations:”, report[“recommendations”])
“`
Определяем вспомогательную функцию createtestreport, которая компилирует все накопленные проверки обоснованности в сводный отчёт, включая общую точность и индивидуальные рекомендации. Затем печатаем окончательные показатели производительности вместе с кратким обзором ключевых демонстраций руководства.
С помощью Upstage’s Groundedness Check мы получаем масштабируемое, независимое от предметной области решение для проверки фактов в реальном времени и оценки достоверности. Независимо от того, проверяем ли мы отдельные утверждения или обрабатываем большие пакеты ответов, Upstage предоставляет чёткие суждения о том, обоснованы ли ответы, и метрики достоверности, которые позволяют нам отслеживать показатели точности и генерировать действенные отчёты о качестве. Интегрируя этот сервис в наш рабочий процесс, мы можем повысить надёжность выходных данных, генерируемых искусственным интеллектом, и поддерживать строгие стандарты фактической целостности во всех приложениях.
Вопросы по тексту статьи:
1. Какие основные возможности предоставляет сервис Upstage’s Groundedness Check?
Ответ: сервис Upstage’s Groundedness Check предоставляет API для проверки обоснованности ответов, сгенерированных искусственным интеллектом. Он позволяет мгновенно определить, поддерживает ли предоставленный контекст данный ответ, и получить оценку достоверности этого обоснования.
2. Какие методы включает класс AdvancedGroundednessChecker?
Ответ: класс AdvancedGroundednessChecker включает методы для одиночной и пакетной проверки контекста и ответов, накопления результатов, извлечения метки достоверности из каждого ответа и вычисления общих статистических данных об точности по всем проверкам.
3. Какие примеры проверок приведены в статье?
Ответ: в статье приведены примеры проверок, охватывающие фактическую ошибку в высоте, правильное утверждение, расплывчатое частичное совпадение и противоречивое утверждение.
4. Как выполняется пакетная обработка в примере из статьи?
Ответ: пакетная обработка выполняется путём создания серии тестовых примеров, которые затем передаются в метод batch_check класса AdvancedGroundednessChecker. Результаты проверки выводятся на печать, а затем вычисляются и отображаются общие показатели точности.
5. Какие рекомендации можно дать на основе многодоменного тестирования?
Ответ: на основе многодоменного тестирования можно дать рекомендации по пересмотру процесса генерации ответов, если точность ниже 70%, или подтвердить, что система работает хорошо, если точность выше 90%.