通义千文大模型API调用示例(python) 通义千问API调用。

API详情

通义千问是阿里云自主研发的大语言模型,能够在用户自然语言输入的基础上,通过自然语言理解和语义分析,理解用户意图,在不同领域、任务内为用户提供服务和帮助。您可以通过提供尽可能清晰详细的指令,来获取更符合您预期的结果。

模型具备的能力包括但不限于:

  1. 创作文字,如写故事、写公文、写邮件、写剧本、写诗歌等
  2. 编写代码
  3. 提供各类语言的翻译服务,如英语、日语、法语、西班牙语等
  4. 进行文本润色和文本摘要等工作
  5. 扮演角色进行对话
  6. 制作图表

通义千问以用户以文本形式输入的指令(prompt)以及不定轮次的对话历史(history)作为输入,返回模型生成的回复作为输出。在这一过程中,文本将被转换为语言模型可以处理的token序列。Token是模型用来表示自然语言文本的基本单位,可以直观的理解为“字”或“词”。对于中文文本来说,1个token通常对应一个汉字;对于英文文本来说,1个token通常对应3至4个字母或1个单词。例如,中文文本“你好,我是通义千问”会被转换成序列[‘你’, ‘好’, ‘,’, ‘我’, ‘是’, ‘通’, ‘义’, ‘千’, ‘问’],而英文文本"Nice to meet you."则会被转换成[‘Nice’, ’ to’, ’ meet’, ’ you’, ‘.’]。

目前(2023-12-15)API调用免费,具体截止时间还没有通知,大家赶快尝试一下!!!
官网文档:点击查看

模型概览

模型名模型简介模型输入输出限制
qwen-turbo通义千问超大规模语言模型,支持中文英文等不同语言输入。模型支持 8k tokens上下文,为了保障正常的使用和输出,API限定用户输入为6k tokens。
qwen-plus通义千问超大规模语言模型增强版,支持中文英文等不同语言输入。模型支持 32k tokens上下文,为了保障正常的使用和输出,API限定用户输入为 30k tokens。
qwen-max
(限时免费开放中)
通义千问千亿级别超大规模语言模型,支持中文英文等不同语言输入。随着模型的升级,qwen-max将滚动更新升级,如果希望使用稳定版本,请使用qwen-max-1201。模型支持 8k tokens上下文,为了保障正常的使用和输出,API限定用户输入为6k tokens。
qwen-max-1201
(限时免费开放中)
通义千问千亿级别超大规模语言模型,支持中文英文等不同语言输入。该模型为qwen-max的快照稳定版本,预期维护到下个快照版本发布时间(待定)后一个月。模型支持 8k tokens上下文,为了保障正常的使用和输出,API限定用户输入为6k tokens。
qwen-max-longcontext
(限时免费开放中)
通义千问千亿级别超大规模语言模型,支持中文英文等不同语言输入。模型支持 30k tokens上下文,为了保障正常的使用和输出,API限定用户输入为 28k tokens。
qwen-vl-plus通义千问VL plus支持灵活的交互方式,包括多图、多轮问答、创作等能力的模型,大幅提升了图片文字处理能力,增加可处理分辨率范围,增强视觉推理和决策能力-

开通DashScope并创建API-KEY

API-KEY创建说明
说明:需要通过阿里云主账号或者得到主账号AliyunDashScopeFullAccess授权的子账号进行DashScope模型服务的开通及API-KEY的创建。

开通DashScope灵积模型服务

访问DashScope管理控制台:前往控制台

创建API-KEY

访问DashScope管理控制台API-KEY管理页面:前往API-KEY管理,然后点击“创建新的API-KEY”。

API-KEY添加至系统变量

  1. 新建用户变量
  2. 输入变量名(可以自定义):DASHSCOPE_API_KEY
  3. 输入变量值(API-KEY):直接复制

Python调用示例

import os
import time
import json
import random
from http import HTTPStatus
import dashscope
from dashscope import Generation
from dashscope.api_entities.dashscope_response import Role
# 两种方式调用api-key
key = os.getenv("DASHSCOPE_API_KEY") # 调用时需要手动添加key
dashscope.api_key = os.getenv("DASHSCOPE_API_KEY") # 不需要手动添加key

流式输出

def call_with_stream(question):
 messages = [
 {'role': 'user', 'content': f'{question}'}]
 responses = Generation.call(
 model='qwen-max-1201',
 max_tokens=1500,
 messages=messages,
 result_format='message',
 stream=True,
 incremental_output=True
 )
 full_content = ''
 for response in responses:
 if response.status_code == HTTPStatus.OK:
 full_content += response.output.choices[0]['message']['content']
 api_reports(response, question)
 else:
 print('Request id: %s, Status code: %s, error code: %s, error message: %s' % (
 response.request_id, response.status_code,
 response.code, response.message
 ))
 print(f'{question}:\n\n' + full_content)
def api_reports(output_response, text):
 time_now = time.strftime('%Y年%m月%d日%H点%M分%S秒', time.localtime())
 f = open(f'大模型调用记录/通义千文/{text}_{time_now}.json', 'w')
 output_json = json.dumps(output_response)
 f.write(output_json)
 f.close()
text = '为什么我保存response的json文件,content为空'
call_with_stream(text)


简单多模态

def simple_multimodal_conversation_call(img,question):
 messages = [
 {
 "role": "user",
 "content": [
 {"image": f"{img}"},
 {"text": f"{question}"}
 ]
 }
 ]
 response = dashscope.MultiModalConversation.call(model='qwen-vl-plus',
 messages=messages)
 if response.status_code == HTTPStatus.OK:
 print(response.output.choices[0]['message']['content'][0]['text'])
 else:
 print(response.code)
 print(response.message)
img = 'https://dashscope.oss-cn-beijing.aliyuncs.com/images/dog_and_girl.jpeg'
text = '这是什么?'
simple_multimodal_conversation_call(img, text)

参考

官网文档:https://help.aliyun.com/zh/dashscope/developer-reference/api-details#8d583410d7so6

作者:孝钦显皇后给过版权费了原文地址:https://blog.csdn.net/weixin_48857697/article/details/135024657

%s 个评论

要回复文章请先登录注册