通义千问
里达摩院推出的大模型，拥有千亿参数，可用于智能问答、知识检索、文案创作等场景
目前，MOSS 模型已上线开源，相关代码、数据、模型参数已在 Github 和 Hugging Face 等平台开放，供科研人员下载。
据介绍，MOSS 是一个支持中英双语和多种插件的开源对话语言模型，moss-moon 系列模型具有 160 亿参数，在 FP16 精度下可在单张 A100 / A800 或两张 3090 显卡运行，在 INT4/8 精度下可在单张 3090 显卡运行。MOSS 基座语言模型在约七千亿中英文以及代码单词上预训练得到，后续经过对话指令微调、插件增强学习和人类偏好训练具备多轮对话能力及使用多种插件的能力。
MOSS 来自复旦大学自然语言处理实验室的邱锡鹏教授团队，名字与《流浪地球》电影中的 AI 同名，已发布至公开平台（https://moss.fastnlp.top/），邀请公众参与内测。
IT之家查看 MOSS 的 GitHub 页面发现，该项目所含代码采用 Apache 2.0 协议，数据采用 CC BY-NC 4.0 协议，模型权重采用 GNU AGPL 3.0 协议。如需将该项目所含模型用于商业用途或公开部署，需要签署文件并发送至 robot@fudan.edu.cn 取得授权，商用情况仅用于记录，不会收取任何费用。
模型
-
moss-moon-003-base: MOSS-003 基座模型，在高质量中英文语料上自监督预训练得到，预训练语料包含约 700B 单词，计算量约 6.67×1022 次浮点数运算。
-
moss-moon-003-sft: 基座模型在约 110 万多轮对话数据上微调得到，具有指令遵循能力、多轮对话能力、规避有害请求能力。
-
moss-moon-003-sft-plugin: 基座模型在约 110 万多轮对话数据和约 30 万插件增强的多轮对话数据上微调得到，在 moss-moon-003-sft 基础上还具备使用搜索引擎、文生图、计算器、解方程等四种插件的能力。
-
moss-moon-003-pm: 在基于 moss-moon-003-sft 收集到的偏好反馈数据上训练得到的偏好模型，将在近期开源。
-
moss-moon-003: 在 moss-moon-003-sft 基础上经过偏好模型 moss-moon-003-pm 训练得到的最终模型，具备更好的事实性和安全性以及更稳定的回复质量，将在近期开源。
-
moss-moon-003-plugin: 在 moss-moon-003-sft-plugin 基础上经过偏好模型 moss-moon-003-pm 训练得到的最终模型，具备更强的意图理解能力和插件使用能力，将在近期开源。
数据
-
moss-002-sft-data: MOSS-002 所使用的多轮对话数据，覆盖有用性、忠实性、无害性三个层面，包含由 text-davinci-003 生成的约 57 万条英文对话和 59 万条中文对话。
-
moss-003-sft-data: moss-moon-003-sft 所使用的多轮对话数据，基于 MOSS-002 内测阶段采集的约 10 万用户输入数据和 gpt-3.5-turbo 构造而成，相比 moss-002-sft-data，moss-003-sft-data 更加符合真实用户意图分布，包含更细粒度的有用性类别标记、更广泛的无害性数据和更长对话轮数，约含 110 万条对话数据。目前仅开源少量示例数据，完整数据将在近期开源。
-
moss-003-sft-plugin-data: moss-moon-003-sft-plugin 所使用的插件增强的多轮对话数据，包含支持搜索引擎、文生图、计算器、解方程等四个插件在内的约 30 万条多轮对话数据。目前仅开源少量示例数据，完整数据将在近期开源。
-
moss-003-pm-data: moss-moon-003-pm 所使用的偏好数据，包含在约 18 万额外对话上下文数据及使用 moss-moon-003-sft 所产生的回复数据上构造得到的偏好对比数据，将在近期开源。
数据统计
数据评估
关于MOSS特别声明
本站默惠工业品提供的MOSS都来源于网络，不保证外部链接的准确性和完整性，同时，对于该外部链接的指向，不由默惠工业品实际控制，在2024-04-08 下午3:10收录时，该网页上的内容，都属于合规合法，后期网页的内容如出现违规，可以直接联系网站管理员进行删除，默惠工业品不承担任何责任。
相关导航
Guanaco-65B
LLaMA衍生的模型中，Guanaco-65B被证明是最好的开源大模型，Guanaco有四种类型：7B、13B、33B和65B型号。Tim Dettmers和其他研究人员在OASST1数据集上对所有模型进行了微调。
Gemini
Gemini 是最新、功能最强大的大型语言模型 (LLM)，由 Google 子公司 Google Deepmind 团队开发，Gemini 是一个“原生多模态 AI 模型”，它被从头开始设计为包含文本、图像、音频、视频的多模态模型，和代码，一起训练形成一个强大的人工智能系统。
Mistral AI
我们发布了开放权重模型，供每个人在他们想要的地方进行定制和部署。我们的超高效模型 Mistral Nemo 可在 Apache 2.0 下使用，而 Mistral Large 2 可通过免费的非商业许可证和商业许可证获得。
Lamini LLM
Lamini是现有软件团队快速开发和控制自己的LLM的企业LLM平台。Lamini有内置的最佳实践，可以将LLM专门用于数十亿专有文档，以提高性能、减少幻觉、提供引用并确保安全。Lamini可以安全地安装在室内或云端。得益于与AMD的合作，Lamini是唯一一个在AMD GPU上运行LLM并自信地扩展到数千个的平台。Lamini现在被财富500强企业和顶级人工智能初创公司使用。
Mxnet
APACHE MXNET:A FLEXIBLE AND EFFICIENT，LIBRARY FOR DEEP LEARNING
文心一言
百度推出的知识增强型对话语言模型，千亿级参数量，在知识问答、创意生成等任务上表现出色。
MuseV
MuseV是一个由腾讯音乐娱乐的天琴实验室开源的虚拟人视频生成框架，专注于生成高质量的虚拟人视频和口型同步。它利用先进的算法，能够制作出具有高度一致性和自然表情的长视频内容。MuseV支持自定义动作和风格，视频时长理论上无限，且生成速度快。这一技术在AI创作领域中表现出色，为虚拟人视频制作提供了新的可能性。
暂无评论...
