Do quality assessment
This commit is contained in:
parent
806e85fcec
commit
4f360d35b2
3 changed files with 21 additions and 1 deletions
|
|
@ -15,4 +15,5 @@
|
|||
текстовая информация. Размер шрифт должен быть не крупным, но удобно читаемым (около 12 пунктов).
|
||||
Фон ВСЕГДА должен быть исключительно белым.
|
||||
Если это требуется, ответ может быть достаточно большим по размеру. Не ограничивай себя в длине
|
||||
ответа, но и ненужную информацию оставлять не нужно.
|
||||
ответа, но и ненужную информацию оставлять не нужно.
|
||||
Если какой-либо информации в тексте сообщений/аудио нет - НЕ ДОДУМЫВАЙ её, а обозначь её отсутствие.
|
||||
10
main.py
10
main.py
|
|
@ -44,6 +44,10 @@ QWEN_PROMPT_TEMPLATE = ""
|
|||
with open("base_prompt.txt", "r") as f:
|
||||
QWEN_PROMPT_TEMPLATE += f.read()
|
||||
|
||||
QWEN_QUALITY_PROMPT_TEMPLATE = ""
|
||||
with open("quality_prompt.txt", "r") as f:
|
||||
QWEN_QUALITY_PROMPT_TEMPLATE += f.read()
|
||||
|
||||
TEMP_DIR = tempfile.gettempdir()
|
||||
GROUPING_TIMEOUT = 15.0
|
||||
|
||||
|
|
@ -211,6 +215,11 @@ async def generate_report(text: str, images_data: list, audios_data: list) -> Op
|
|||
if report.startswith("Ошибка:"):
|
||||
print(f"[QWEN] Ошибка API: {report}")
|
||||
return None
|
||||
|
||||
quality_prompt = f"{QWEN_QUALITY_PROMPT_TEMPLATE}\n Исходные данные: {full_text} Отчёт: {report}"
|
||||
quality_report = await call_qwen_api(quality_prompt)
|
||||
print(f"[QWEN] Оценка качества: {quality_report}")
|
||||
|
||||
report = report.replace('```html', '')
|
||||
report = report.replace('```', '')
|
||||
|
||||
|
|
@ -238,6 +247,7 @@ async def process_audio(audio_data: Dict) -> str:
|
|||
if text is None:
|
||||
print("[AUDIO] Распознавание не удалось.")
|
||||
return ""
|
||||
print(f"[AUDIO] Распознанный текст: {text[:300]}...")
|
||||
return text
|
||||
|
||||
|
||||
|
|
|
|||
9
quality_prompt.txt
Normal file
9
quality_prompt.txt
Normal file
|
|
@ -0,0 +1,9 @@
|
|||
Тебе дан текст расшифровки аудиозаписи рабочей встречи в IT-компании и сопутствующие
|
||||
сообщения пользователя. Далее тебе дан отчёт по этой встрече, автоматически сгенерированный ИИ-агентом
|
||||
на основе этого текста и сообщений пользователя.
|
||||
Твоя задача - оценить качество работы агента на основе исходного текста и написанного отчёта.
|
||||
Сперва дай оценку качества по шкале от 0 до 100. Далее, если есть проблемы, выдели их.
|
||||
Проверь, нет ли противоречий в тексте отчёта и исходном, не упущена ли важная информация и т.д.
|
||||
Укажи на имеющиеся ошибки/недочёты, если они есть, и предположи, с чем они могут быть связаны и как
|
||||
их исправить.
|
||||
Твой ответ должен быть удобочитаемым в .txt формате.
|
||||
Loading…
Add table
Add a link
Reference in a new issue