Groq API 免费使用教程

fatiery

下面的内容是转载的

( O# v  S# u' m; h" r3 M+ l

1. ## 第一步：获取 API
   % Z+ `' a  h6 M, S9 w7 }
2. 1. 访问 https://console.groq.com/
   ; b2 A. D3 ~/ r6 ]8 q
3. 2. 完成注册并申请 API
   ) e0 S7 r. h9 T1 @: t0 N
4. 3. 保存获得的 API 密钥
   $ G$ `3 f! q$ O: e/ f1 H$ R
5. 
   ; s) m( q% _4 D9 w( @. Z, A) ~: w
6. ## 第二步：配置 NextChat
   6 T% }( i7 O9 K( {' G; U
7. 1. 打开 https://app.nextchat.dev/
   
8. 2. 在左侧设置中填入：
   & `) {- a3 `) x! T5 |% @
9.    - 接口地址：`https://api.groq.com/openai/`
   
10.    - API Key：填入之前获取的密钥
    & U: L) P1 i- L& c% u, s; g
11.    - 自定义模型：`llama-3.3-70b-versatile`
    , \& g! r/ C$ h7 M
12. 
    : x# W! A+ \2 O& @" t& c" a4 x
13. ## 主要优势
    / s& H2 e. H& ]* j- a
14. - 响应速度：200 Token/秒
    / u- p' c( j3 X# |% T
15. - 性能表现：接近 GPT-4.0 水平
    ; d; W% {- C0 l! X3 X% Z) A# z8 k
16. - 完全免费使用
    # K' V0 _+ ~  t9 `
17. 
    ) |% Z# ~5 _' {, n$ U
18. ## 使用限制
    
19. - 每分钟限额：6000 Token
    
20. - 每日 API 调用：14000 次
    
21. - 足够普通用户日常使用

复制代码

. c2 \" z) T: r, z# a& t, l根据实际操作，NextChat这样还不行，下面是我自己的操作步骤详细化，仅供参考：
0 H3 a3 v( E$ ~. W5 n8 x- w1. 点击左下角设置
2. 勾选自定义接口
3. 接口地址输入：https://api.groq.com/openai/
4. API Key输入：gsk_XXXX(你的API密钥)
5. 自定义模型输入：llama-3.3-70b-versatile
& E8 w+ M5 {! }" U, q8 @6. 模型 下拉 选择我们输入的 llama-3.3-70b-versatile

) o* b1 S, Z8 j! |这样就可以对话使用了，其实不止NextChat，其实有其他类似NextChat的程序，搭建网站供他人使用的，可以在Github找下。
! k, M  z% b3 s2 Q: s3 X+ T' o: I
9 Y! x. v& i2 c( z当然这对直接能用ChatGPT的人来说，没啥用，重点就是它的免费API调用次数，对我们编程的人而言，结合自动化的程序，比如翻译、总结、改写等等，绝对量大管饱。

官方教程
) K* R% t, D2 P6 y4 v5 C

1. export GROQ_API_KEY=<your-api-key-here>

复制代码

1. pip install groq

复制代码

1. import os
   $ ~6 }% f* g; I* M
2. 
   , X: q, P1 Q- J5 Z3 [- z
3. from groq import Groq
   
4. 
   ; h1 S; d" Z: K. ]4 Z6 K- `  g! h2 F
5. client = Groq(
   ) h; U0 B$ `. `) Z2 B
6.     api_key=os.environ.get("GROQ_API_KEY"),
   
7. )
   
8. 
   
9. chat_completion = client.chat.completions.create(
   
10.     messages=[
    $ [: K# e. X, J- u0 k% l) [
11.         {
    
12.             "role": "user",
    9 d3 V8 E/ n5 u" c' H+ Z
13.             "content": "Explain the importance of fast language models",
    # D: U7 M$ H" m) n* T% p
14.         }
    ) L* J7 Z) t" B. v3 q1 ?- w
15.     ],
    0 K2 J/ v) X  v* J" @  U! v
16.     model="llama3-8b-8192",
    - m2 i" d: Y  g8 ]
17. )
    ( i7 u9 H- y3 g# G, }
18. 
    
19. print(chat_completion.choices[0].message.content)

复制代码

( ~9 N9 M/ Z1 W9 E
实际使用：
记得把模型 llama3-8b-8192 换为 llama-3.3-70b-versatile
! W. `$ L2 _! J: W
0 {; o% \+ f0 c+ _9 v5 R下面是我用过API提问，“llama-3.3-70b-versatile与llama3-8b-8192的区别，用中文回复” 的结果
1 ]& T  b$ t7 `5 ^+ n

1. LLaMA 是一种大语言模型，由 Meta AI 开发。LLaMA-3.3-70b-versatile 和 LLaMA-3-8b-8192 是 LLaMA 的两个不同版本，它们之间的区别主要体现在以下几方面：
   
2. 
   ' |$ |5 R$ _& S3 E
3. 1. **模型大小**：LLaMA-3.3-70b-versatile 的参数量大约为 70 亿，而 LLaMA-3-8b-8192 的参数量大约为 8 亿。这意味着 LLaMA-3.3-70b-versatile 的模型规模比 LLaMA-3-8b-8192 大得多，通常来说，更大的模型对应着更强的表达能力和更好的性能。
   8 D. O5 C2 @& u( ~
4. 2. **计算资源**：由于 LLaMA-3-8b-8192 的模型大小相对较小，所需的计算资源也相对较少。这使得它可以在较低端的硬件上运行，包括一些个人电脑或较早的 GPU，而 LLaMA-3.3-70b-versatile 则需要更强大的计算资源来处理。
   
5. 3. **性能差异**：一般来说，参数量更大的模型如 LLaMA-3.3-70b-versatile 在语言理解和生成任务上会表现更好，因为它能够捕捉到语言中更复杂和细致的模式。然而，性能的差异也取决于具体的应用场景和任务。
   
6. 4. **训练数据**：两个模型可能使用的训练数据集不同，尽管它们都是基于大规模语料库训练的，但数据的范围、深度和覆盖面可能有所不同，这也会影响它们的性能和适用范围。
   
7. 
   0 P3 V# Q: Q' L) P4 _
8. 总而言之，LLaMA-3.3-70b-versatile 和 LLaMA-3-8b-8192 之间的选择，主要取决于你的应用场景、可用的计算资源以及对模型性能的需求。如果需要更强大的语言处理能力且计算资源充足，较大的模型可能是一个更好的选择；如果计算资源有限或需要一个更轻量级的解决方案，较小的模型可能更合适。
   & @2 D9 Q$ v0 Z6 G* `

复制代码

; K, M$ n1 ~8 F因为比较急，即使简单的贴子也难免有错误的地方，大家请多担待，姑妄言之姑看之。
4 @0 x, O! }/ v/ o; N; a
$ _7 p4 a2 D$ s# \# `) `

keepmoving

谢谢版主分享