granite-3.0-8b-instruct

granite-3.0-8b-instruct项目介绍

项目简介

granite-3.0-8b-instruct 是一款具有80亿参数的语言模型。该模型由Granite-3.0-8B-Base模型微调而来，结合了许可证宽松的开源指令数据集和内部收集的合成数据集。开发阶段采用了多种技术，包括监督微调、利用强化学习进行模型矫正以及模型合并。

开发者：IBM的Granite团队

GitHub主页：ibm-granite/granite-3.0-language-models

官方网站：Granite Docs

发行日期：2024年10月21日

许可证：Apache 2.0

支持语言

Granite-3.0-8B-Instruct支持12种语言，包括英语、德语、西班牙语、法语、日语、葡萄牙语、阿拉伯语、捷克语、意大利语、韩语、荷兰语和中文。用户还可以对这些模型进行微调，以支持其他语言。

预定用途

该模型旨在响应一般指令，可用于构建多领域的AI助手，包括商业应用中。

功能特点

总结

文本分类

文本提取

问答

增强型检索生成（RAG）

代码相关任务

函数调用任务

多语言对话用例

使用示例

用户可以非常简单地安装相关库，并按照示例代码使用该模型进行文本生成：

import torchfrom transformers import AutoModelForCausalLM, AutoTokenizerdevice = "auto"model_path = "ibm-granite/granite-3.0-8b-instruct"tokenizer = AutoTokenizer.from_pretrained(model_path)model = AutoModelForCausalLM.from_pretrained(model_path, device_map=device)model.eval()chat = [ { "role": "user", "content": "Please list one IBM Research laboratory located in the United States. You should only output its name and location." },]chat = tokenizer.apply_chat_template(chat, tokenize=False, add_generation_prompt=True)input_tokens = tokenizer(chat, return_tensors="pt").to(device)output = model.generate(**input_tokens, max_new_tokens=100)output = tokenizer.batch_decode(output)print(output)

模型架构

Granite-3.0-8B-Instruct采用了仅解码密集transformer架构。其核心组件包括GQA和RoPE、带有SwiGLU激活函数的MLP、RMSNorm及共享输入/输出嵌入。

训练数据

模型的训练数据主要来自于三种关键来源：(1)允许开源的公共数据集，(2)针对特定功能的内部合成数据，(3)极少量的人为策划数据。这些数据集的详细信息可以在Granite技术报告中查看。

基础设施

IBM使用旗下超算集群Blue Vela进行Granite 3.0语言模型的训练，该集群配备了NVIDIA H100 GPU，能够在大规模GPU上进行高效训练，并通过100%可再生能源最大限度地减少环境影响。

伦理考量与限制

Granite 3.0指令模型主要通过英文本指令-响应对进行微调，但也涵盖了其他十一种语言的多语言数据。虽然模型可以处理多语言对话用例，但在非英语任务上的性能可能存在差异。在这种情况下，可以通过少数示例让模型生成更准确的输出。虽然在模型对齐过程中考虑了安全性，但模型有时可能会生成不准确、有偏见或不安全的响应，建议在使用时进行适当的安全测试和调整。