Model Kiara

🚀 Kiara模型1.0

Kiara模型1.0旨在应用于Vtuber AI，借助从YouTube直播获取文本、利用Gemini生成回复、对数据进行学习等步骤，实现智能交互。还能将文本转换为语音，用于驱动Vtuber动作。

🚀 快速开始

如果你想在Vtuber AI上使用Kiara模型1.0，可参考以下步骤：

1. 利用Pytchat从YouTube直播获取文本。
2. 使用Gemini将获取的文本转换为自然的回复。
3. 对数据进行学习，标记问题类型并匹配合适的答案。
4. 将生成的回复转换为语音。
5. 尝试使用语音驱动Vtuber的动作。

✨ 主要特性

1. 从YouTube直播获取文本

使用Pytchat实时获取YouTube直播的聊天文本。Pytchat能捕获YouTube聊天中发送的消息。 Pytchat链接：https://pypi.org/project/pytchat/

2. 利用Gemini转换文本为回复

获取聊天文本后，使用Gemini（Google生成式AI）将其转换为相关且自然的回复。 Gemini链接：https://pypi.org/project/google-generativeai/

3. 数据学习

• 标记问题类型的消息：
  • 用**问号(?)**标记包含问题的消息，以区分消息类型。
  • 若有问题且是询问消息，使用提示词，如：示例提示词 = ["kapan", "mengapa", "dimana", "bagaimana", "siapa", "kenapa", "berapa"]
• 匹配符合主题的答案：
  • 为匹配相关答案，可使用关键词匹配，确保生成的答案与讨论的主题相符。
  • 使用逻辑回归作为学习方法，根据已标记的消息类型或类别（如问题或评论）预测答案。

4. 文本转语音

使用pyttsx3或ElevenLabs将生成的回复转换为语音，用于进一步交互。

5. 语音驱动Vtuber动作

使用VTS Desktop Audio和VB Cable Driver将语音转换为输入，控制Vtuber的动作，如根据语音回复控制面部或身体动作。

6. 语音变声（RVC Okada）

目前还在学习如何使用RVC Okada进行语音变声。

📦 安装指南

文档未提及具体安装步骤，暂无法提供。

💻 使用示例

基础用法

        import google.generativeai as genai

        genai.configure(api_key="YOUR API KEY GEMINI")
        model = genai.GenerativeModel("MODEL NAME TO USE") # 如Gemini 1.5 Flash,Gemini 1.5 Flash-8B,gemini-2.0-flash-exp

        # 使用Gemini生成文本
        generation_config={
          "temperature": 1,        # 用于准确性
          "top_p": 0.8,              # 考虑各种单词选择
          "max_output_tokens": 250,  # 限制输出长度
          "frequency_penalty": 0.2,  # 减少单词重复
          "presence_penalty": 0.2,   # 减少已出现单词的重复
          }

            
        response = model.generate_content(
          text,generation_config=generation_config
            )

        gemini_text = response.text    
        text_without_asterisks = gemini_text.replace("*", "")
        print("Gemini Text Output:", text_without_asterisks)  

高级用法

文档未提及高级用法示例，暂无法提供。

📚 详细文档

注意事项

• Gemini 2.0 Flash实验性使用示例：上述代码展示了如何使用Gemini生成文本。
• fit_transform仅在使用新数据训练向量化器时使用。
• transform用于使用已训练的向量化器处理新数据，确保数据与现有模型匹配。
• sigmoid用于二分类，确保目标是二进制标签（0或1），并使用binary_crossentropy。
• softmax用于两类分类，将输出层改为两个单元，并使用categorical_crossentropy，目标采用one-hot编码格式。

更新日志

(版本3)V3

• 使用softmax构建TensorFlow神经网络（模型和数据集已删除）。

(版本5)V5

• 数据增多，但50次迭代损失: 33.1689 准确率: 2.22%（最新模型和数据集）。

(版本8)V8

• 数据增多，但50次迭代损失: 20.0664 准确率: 3.26%（模型和数据集未发布）。

(版本10)V10

• 数据增多，但50次迭代损失: 21.0304 准确率: 3.67%（模型和数据集未发布）。

模型选择建议

（推荐）选择基于LSTM的模型，如果：

• 单词顺序和文本上下文对理解消息很重要。
• 数据集较大或更复杂。
• 你想要一个更深入的文本模型。

🔧 技术细节

模型学习机制

通过标记问题类型的消息，使用关键词匹配和逻辑回归方法，对数据进行学习，以生成与主题相符的回复。

语音处理流程

先将生成的回复转换为语音，再使用VTS Desktop Audio和VB Cable Driver将语音转换为输入，控制Vtuber的动作。

📄 许可证

本模型采用[Apache]许可证。