简介

目前专注于LLM(大型语言模型)的微调和可靠智能体的创建工作。致力于构建一种复杂的智能体,它能够整合角色扮演领域的专用模型与通用模型的决策能力,以此来实现高度灵活的角色扮演体验。

出生日期

08/07/1998

项目经验

角色扮演3B-8k模型lora微调vanilla-cn-roleplay-0.1

训练者

  1. 基于deepspeed stage2 进行多卡分布式微调。
  2. 使用flash attension2 优化手段,减少显存占用,提升多卡训练速度。
  3. 使用tensorboard 监测训练过程,动态修改learning rate,避免出现长期oscillation和pleatue。
  4. 通过validation dataset,监测accuracy和validation loss,最后通过测试数据集测试模型最终质量。
  5. 已在huggingface上开源。

qwen3-14b-8k角色扮演模型vanilla-cn-roleplay-0.2

负责人

  1. 对qwen3-14b 进行4bit qLora 微调。
  2. 使用unsloth,trl提升在单张显卡微调的效率(减少上下文vram,以及训练速度)
  3. 根据test数据集的loss,评估训练效果。
  4. 最终merge 到原始精度的模型上。

基于大模型的多智能体海外运维平台

负责人

  1. 从0到1构建langgraph工作流(开发,测试,部署)涉及 langchain, langgraph, langsmith,实现以AI驱动的底层能力
  2. 通过langgraph构建自动化社交媒体帖子生成的工作流(图片加帖子文本)
  3. 基于langgraph tool 构建模型自主决策的agent, 让模型自主搜索缺失信息,根据人设生成原创内容(文章,博客,评测,海报体)。
  4. 构建multi-agent架构,supervisor, plan and execute 构架,使多agents 自主互相交互,管理,解决较为复杂的海外运维问题(如何养号,如何吸引流量,何时触发点赞,关注,私信)
  5. 构建mcp 服务器,更加高效,动态的管理模型的外部能力(tool)

从零到一搭建3090*4AI服务器

搭建者

  1. 从二手平台选取配件(显卡,主板,cpu等)。
  2. 硬件搭建及组建。
  3. ubuntu系统构建。

小说爬虫加自动化数据集搭建脚本

个人项目

  1. 使用BeautifulSoup,requests爬取网络小说。
  2. 通过第三方api调用,以及提示词工程,快速构建高质量数据集。
  3. 目前正在测试,后续会上传github。

中文角色扮演数据集构建

构建者

  1. 通过利用我个人项目自动化数据集构建项目,构建的多轮角色扮演数据集。
  2. 通过爬取轻小说,获取原始数据,然后利用提示词工程在google vertex ai平台上调用gemini pro2.5 进行互动式小说数据集构建(质量极好)

基于提示词的自动化模型评测以及最佳推理参数测试

个人项目

  1. 首先通过遍历temperature, top p, 获取局部较优参数,然后批量生成小说互动数据。
  2. 通过deepseek r1, gemini pro2.0加提示词工程对模型生成的互动小说进行评测。
  3. 最终根据权重算法对模型进行评分。

动态lora以及sdxl lora微调

主要负责人(个人项目)

  1. motion Lora 训练
  2. 以sd script为基础的 sdxl lora训练

fish_audio_微调

主要负责人(个人项目)

  1. 基于fish_speech的语音lora微调

技能

  • ai相关技能

    精通各类模型后训练方法,例如:Supervised Fine-Tuning, RLHF(PPO), DPO, KTO

    熟悉并了解各类模型量化方法,从而减少模型推理成本,例如:PTQ(GPTQ),QAT(AWQ),AQLM,OFTQ(bitsandbytes, HQQ, EETQ)

    精通深度学习框架pytorch, 大模型训练框架 transformers), 图像生成框架 diffusions

    各类商业大模型api调用,claude逆向, deepseek, gemini(Vertex ai, google ai studio)

    精通langgraph,langchain, langsmith,大模型agent框架。

    各类lora微调(语音,图像等)diffusions, fish audio.

  • 电脑技能

    手篡服务器

    系统安装(linux,windows)

    ubuntu系统使用

  • 编程技能

    较熟练使用编程语言(python, java, golang)

    网络服务构建

    自动化脚本工具构建

工作经历

热岛科技有限公司

大模型提示词工程师

四月 2025 - 现在

  1. 从0到1构建langgraph工作流(开发,测试,部署)涉及 langchain, langgraph, langsmith.
  2. 通过langgraph构建自动化社交媒体帖子生成(图片加帖子文本)
  3. 通过langgraph tool 构建模型自主决策的agent, 让模型自主搜索缺失信息,根据人设生成原创内容(文章,博客,评测)。
  4. 构建multi-agent架构,supervisor, plan and execute 构架,优化决策 multi-agents 质量。

轩晔数字科技有限公司

ComfyUI工作流构加sd训练师

三月 2024 - 十月 2024

训练sdxl lora模型

搭建各类comfyUI 工作流

构建自动化脚本进行爬虫并构建图片数据集

杭州智鸿网络科技有限公司

海外客服兼模型训练工程师

十一月 2022 - 六月 2023

用英语与海外客户对接,接受询盘业务和解决客户需求; 额外时间训练Lora模型,生成符合商品特征的模特图片和展示图片

广东零壹智慧、启乐云等

软件开发

九月 2020 - 五月 2022

1.负责工业化SAAS系统开发和学校选课系统开发

2.房地产微信小程序开发等

语言

Language

中文

母语

Language

英语

很好

教育

山东交通学院

安全工程 - 学士

2016 - 2020