完善打分数据集生成

This commit is contained in:
997146918 2025-08-23 18:20:50 +08:00
parent aefda38d12
commit 5bc280c539

View File

@ -282,7 +282,7 @@ def generate_training_dataset():
output_dir = "./training_data" output_dir = "./training_data"
os.makedirs(output_dir, exist_ok=True) os.makedirs(output_dir, exist_ok=True)
print("请选择训练数据生成类型:") print("请选择训练数据生成类型:默认1")
print("1. 高质量对话数据集 (分数≥8.0)") print("1. 高质量对话数据集 (分数≥8.0)")
print("2. 问题对话改进数据集 (分数<6.0)") print("2. 问题对话改进数据集 (分数<6.0)")
print("3. 角色一致性训练集") print("3. 角色一致性训练集")
@ -290,11 +290,11 @@ def generate_training_dataset():
print("5. 完整对话质量数据集") print("5. 完整对话质量数据集")
choice = input("请输入选择 (1-5): ").strip() choice = input("请输入选择 (1-5): ").strip()
choice = int(choice) if choice.isdigit() else 1
with sqlite3.connect(conv_mgr.db_path) as conn: with sqlite3.connect(conv_mgr.db_path) as conn:
training_data = [] training_data = []
if choice == '1': if choice == 1:
# 高质量对话数据集 # 高质量对话数据集
print("\n生成高质量对话数据集...") print("\n生成高质量对话数据集...")
cursor = conn.execute(""" cursor = conn.execute("""
@ -317,7 +317,7 @@ def generate_training_dataset():
output_file = f"{output_dir}/high_quality_dialogues_{datetime.now().strftime('%Y%m%d_%H%M')}.json" output_file = f"{output_dir}/high_quality_dialogues_{datetime.now().strftime('%Y%m%d_%H%M')}.json"
elif choice == '2': elif choice == 2:
# 问题对话改进数据集 # 问题对话改进数据集
print("\n生成问题对话改进数据集...") print("\n生成问题对话改进数据集...")
cursor = conn.execute(""" cursor = conn.execute("""
@ -344,7 +344,7 @@ def generate_training_dataset():
output_file = f"{output_dir}/improvement_dialogues_{datetime.now().strftime('%Y%m%d_%H%M')}.json" output_file = f"{output_dir}/improvement_dialogues_{datetime.now().strftime('%Y%m%d_%H%M')}.json"
elif choice == '3': elif choice == 3:
# 角色一致性训练集 # 角色一致性训练集
print("\n生成角色一致性训练集...") print("\n生成角色一致性训练集...")
cursor = conn.execute(""" cursor = conn.execute("""
@ -369,7 +369,7 @@ def generate_training_dataset():
output_file = f"{output_dir}/character_consistency_{datetime.now().strftime('%Y%m%d_%H%M')}.json" output_file = f"{output_dir}/character_consistency_{datetime.now().strftime('%Y%m%d_%H%M')}.json"
elif choice == '4': elif choice == 4:
# 创意性增强训练集 # 创意性增强训练集
print("\n生成创意性增强训练集...") print("\n生成创意性增强训练集...")
cursor = conn.execute(""" cursor = conn.execute("""
@ -394,7 +394,7 @@ def generate_training_dataset():
output_file = f"{output_dir}/creativity_enhancement_{datetime.now().strftime('%Y%m%d_%H%M')}.json" output_file = f"{output_dir}/creativity_enhancement_{datetime.now().strftime('%Y%m%d_%H%M')}.json"
elif choice == '5': elif choice == 5:
# 完整对话质量数据集 # 完整对话质量数据集
print("\n生成完整对话质量数据集...") print("\n生成完整对话质量数据集...")
cursor = conn.execute(""" cursor = conn.execute("""
@ -1107,10 +1107,8 @@ def main():
print("5. 启动双AI对话系统 (开启人工打分)") print("5. 启动双AI对话系统 (开启人工打分)")
print("6. 系统状态检查") print("6. 系统状态检查")
print("7. 查看对话评分统计") print("7. 查看对话评分统计")
print("8. 模型性能分析与优化") print("8. 生成训练数据集")
print("9. 生成训练数据集") print("9. 模型迭代优化")
print("10. 模型迭代优化")
print("11. 查看使用说明")
print("0. 退出") print("0. 退出")
print("="*50) print("="*50)
@ -1142,13 +1140,9 @@ def main():
show_scoring_statistics() show_scoring_statistics()
elif choice == '8': elif choice == '8':
# 模型性能分析与优化 - 待实现
print("模型性能分析与优化功能开发中...")
elif choice == '9':
generate_training_dataset() generate_training_dataset()
elif choice == '10': elif choice == '9':
run_model_optimization() run_model_optimization()
elif choice == '11': elif choice == '11':