В этом руководстве мы рассмотрим создание продвинутого агента искусственного интеллекта PaperQA2 на базе модели Gemini от Google, разработанной специально для анализа научной литературы. Мы настроим среду в Google Colab/Notebook, сконфигурируем API Gemini и интегрируем его с PaperQA2 для обработки и запроса множества научных статей.
К концу настройки у нас будет интеллектуальный агент, способный отвечать на сложные вопросы, проводить многовопросный анализ и проводить сравнительные исследования по статьям, предоставляя при этом чёткие ответы с доказательствами из исходных документов.
Установка необходимых библиотек
Мы начнём с установки необходимых библиотек, включая PaperQA2 и SDK Google Generative AI, а затем импортируем необходимые модули для нашего проекта. Мы устанавливаем ключ API Gemini в качестве переменной окружения и настраиваем его, обеспечивая готовность интеграции к использованию.
«`python
!pip install paper-qa>=5 google-generativeai requests pypdf2 -q
import os
import asyncio
import tempfile
import requests
from pathlib import Path
from paperqa import Settings, ask, agent_query
from paperqa.settings import AgentSettings
import google.generativeai as genai
GEMINIAPIKEY = «Use Your Own API Key Here»
os.environ[«GEMINIAPIKEY»] = GEMINIAPIKEY
genai.configure(apikey=GEMINIAPI_KEY)
print(» Gemini API key configured successfully!»)
«`
Скачивание образцов научных статей
«`python
def downloadsamplepapers():
«»»Download sample AI/ML research papers for demonstration»»»
papers = {
«attentionisallyouneed.pdf»: «https://arxiv.org/pdf/1706.03762.pdf»,
«bert_paper.pdf»: «https://arxiv.org/pdf/1810.04805.pdf»,
«gpt3_paper.pdf»: «https://arxiv.org/pdf/2005.14165.pdf»
}
papersdir = Path(«samplepapers»)
papersdir.mkdir(existok=True)
print(» Downloading sample research papers…»)
for filename, url in papers.items():
filepath = papers_dir / filename
if not filepath.exists():
try:
response = requests.get(url, stream=True, timeout=30)
response.raiseforstatus()
with open(filepath, ‘wb’) as f:
for chunk in response.itercontent(chunksize=8192):
f.write(chunk)
print(f» Downloaded: {filename}»)
except Exception as e:
print(f» Failed to download {filename}: {e}»)
else:
print(f» Already exists: {filename}»)
return str(papers_dir)
papersdirectory = downloadsample_papers()
«`
Создание настроек для PaperQA2 с моделями Gemini
«`python
def creategeminisettings(paper_dir: str, temperature: float = 0.1):
«»»Create optimized settings for PaperQA2 with Gemini models»»»
return Settings(
llm=»gemini/gemini-1.5-flash»,
summary_llm=»gemini/gemini-1.5-flash»,
agent=AgentSettings(
agent_llm=»gemini/gemini-1.5-flash»,
search_count=6,
timeout=300.0,
),
embedding=»gemini/text-embedding-004″,
temperature=temperature,
paperdirectory=paperdir,
answer=dict(
evidence_k=8,
answermaxsources=4,
evidencesummarylength=»about 80 words»,
answer_length=»about 150 words, but can be longer»,
maxconcurrentrequests=2,
),
parsing=dict(
chunk_size=4000,
overlap=200,
),
verbosity=1,
)
«`
Класс PaperQAAgent
«`python
class PaperQAAgent:
«»»Advanced AI Agent for scientific literature analysis using PaperQA2″»»
def init(self, papers_directory: str, temperature: float = 0.1):
self.settings = creategeminisettings(papers_directory, temperature)
self.papersdir = papersdirectory
print(f» PaperQA Agent initialized with papers from: {papers_directory}»)
async def askquestion(self, question: str, useagent: bool = True):
«»»Ask a question about the research papers»»»
print(f»\n Question: {question}»)
print(» Searching through research papers…»)
try:
if use_agent:
response = await agent_query(query=question, settings=self.settings)
else:
response = ask(question, settings=self.settings)
return response
except Exception as e:
print(f» Error processing question: {e}»)
return None
def display_answer(self, response):
«»»Display the answer with formatting»»»
if response is None:
print(» No response received»)
return
print(«\n» + «=»*60)
print(» ANSWER:»)
print(«=»*60)
answer_text = getattr(response, ‘answer’, str(response))
print(f»\n{answer_text}»)
contexts = getattr(response, ‘contexts’, getattr(response, ‘context’, []))
if contexts:
print(«\n» + «-«*40)
print(» SOURCES USED:»)
print(«-«*40)
for i, context in enumerate(contexts[:3], 1):
context_name = getattr(context, ‘name’, getattr(context, ‘doc’, f’Source {i}’))
context_text = getattr(context, ‘text’, getattr(context, ‘content’, str(context)))
print(f»\n{i}. {context_name}»)
print(f» Text preview: {context_text[:150]}…»)
async def multiquestionanalysis(self, questions: list):
«»»Analyze multiple questions in sequence»»»
results = {}
for i, question in enumerate(questions, 1):
print(f»\n Processing question {i}/{len(questions)}»)
response = await self.ask_question(question)
results = response
if response:
print(f» Completed: {question[:50]}…»)
else:
print(f» Failed: {question[:50]}…»)
return results
async def comparative_analysis(self, topic: str):
«»»Perform comparative analysis across papers»»»
questions = [
f»What are the key innovations in {topic}?»,
f»What are the limitations of current {topic} approaches?»,
f»What future research directions are suggested for {topic}?»,
]
print(f»\n Starting comparative analysis on: {topic}»)
return await self.multiquestionanalysis(questions)
«`
Мы создали продвинутого исследовательского агента PaperQA2 с помощью Google Gemini для анализа научной литературы. Теперь мы можем интерактивно исследовать научные статьи, выполнять целевые запросы и даже проводить углублённый сравнительный анализ с минимальными усилиями. Эта настройка повышает нашу способность усваивать сложные исследования и упрощает весь процесс обзора литературы, позволяя нам сосредоточиться на выводах, а не на ручном поиске.
Полезные советы по использованию PaperQA2 с Gemini:
* Формулировка вопроса:
* Будьте конкретны в том, что вы хотите узнать.
* Спрашивайте о сравнениях, механизмах или последствиях.
* Используйте специальную терминологию.
* Конфигурация модели:
* Gemini 1.5 Flash — это бесплатный и надёжный вариант.
* Настройте температуру (0,0–1,0) для творчества и точности.
* Используйте меньший размер chunk_size для лучшей обработки.
* Управление документами:
* Добавляйте PDF-файлы в каталог документов.
* Используйте осмысленные имена файлов.
* Смешивайте разные типы документов для лучшего охвата.
* Оптимизация производительности:
* Ограничьте количество одновременных запросов для бесплатной версии.
* Используйте меньшие значения evidence_k для более быстрых ответов.
* Кэш результатов путём сохранения состояния агента.
* Продвинутое использование:
* Соединяйте несколько вопросов для более глубокого анализа.
* Используйте сравнительный анализ для обзоров исследований.
* Комбинируйте с другими инструментами для комплексных рабочих процессов.
1. Какие ключевые шаги необходимо выполнить для создания продвинутого исследовательского агента PaperQA2 с помощью Google Gemini?
Для создания продвинутого исследовательского агента PaperQA2 с помощью Google Gemini необходимо выполнить следующие ключевые шаги:
1. Установить необходимые библиотеки, включая PaperQA2 и SDK Google Generative AI.
2. Импортировать необходимые модули для проекта.
3. Установить ключ API Gemini в качестве переменной окружения и настроить его.
4. Скачать образцы научных статей.
5. Создать настройки для PaperQA2 с моделями Gemini.
6. Инициализировать класс PaperQAAgent и задать параметры для работы с научными статьями.
2. Какие параметры можно настроить при создании настроек для PaperQA2 с моделями Gemini?
При создании настроек для PaperQA2 с моделями Gemini можно настроить следующие параметры:
* Выбор модели для анализа (llm, summaryllm, agentllm).
* Количество поисковых запросов (search_count).
* Таймаут (timeout).
* Модель для встраивания (embedding).
* Температуру (temperature).
* Путь к каталогу с научными статьями (paper_directory).
* Параметры для генерации ответов (answermaxsources, evidencesummarylength, answerlength, maxconcurrent_requests).
* Параметры для парсинга (chunk_size, overlap).
* Уровень детализации (verbosity).
3. Какие полезные советы даются в статье по использованию PaperQA2 с Gemini?
В статье даются следующие полезные советы по использованию PaperQA2 с Gemini:
* Будьте конкретны в том, что вы хотите узнать.
* Спрашивайте о сравнениях, механизмах или последствиях.
* Используйте специальную терминологию.
* Настройте температуру (0,0–1,0) для творчества и точности.
* Используйте меньший размер chunk_size для лучшей обработки.
* Добавляйте PDF-файлы в каталог документов.
* Используйте осмысленные имена файлов.
* Смешивайте разные типы документов для лучшего охвата.
* Ограничьте количество одновременных запросов для бесплатной версии.
* Используйте меньшие значения evidence_k для более быстрых ответов.
* Кэш результатов путём сохранения состояния агента.