睡不着！
Llama3来啦！
llama2开源颠覆整个大模型格局！Llama3的整体表现，简直！
现在！凌晨2:30！群里都在聊怎么部署！怎么下载？怎么实现中文？
它实际上中文能力，不弱！但是训练时，数据被砍了一刀！即使这样，不妨碍我们测它！
太晚了！
雄哥明天还要出差，直接进主题！
人的专注力只有10分钟！
① llama3的能力如何？详细测测！
②如何下载？国内快速下载方法！附会员国内网盘下载！
③如何纯本地部署？如何中文？需要多少算力？手把手教！
只想看部署的，直接往下拉到第三部分！
最后有加群方式，以及成为会员的优惠！
第一部分：llama3能力如何？
先看看官方介绍！
测试的方法和过程，看这里：
https://github.com/meta-llama/llama3/blob/main/eval_details.md
我们直接看结果！
8B尺寸！直接秒不久前同级的Gemma-7B！
70B尺寸！直接秒Claude3！
还有什么话说？
雄哥看他的资料，meta干了不少事情，才能有这个结果！
重新设计优化模型架构！
#A Llama 3 使用具有 128K 标记词汇表的分词器
#B 为了提高 Llama 3 推理效率，在 8B 和 70B 都采用了分组查询注意力 （GQA）
#C 在 8192 个token的序列训练模型，使用掩码确保自我注意力不会跨越边界
训练数据的优化！
Llama 3 在15T 的tokens上进行预训练，这些tokens都是从公开来源收集的。比 Llama 2 使用的数据集大 7 倍，包含的代码是 Llama 2 的 4 倍！
还有！Llama 3 预训练数据集的 5% 以上！由涵盖 30 多种语言的高质量非英语数据组成！
这就是为什么llama3懂点中文，但最擅长的，还是英文！后面我们做一个中文微调吧！他配！
更多的，雄哥不介绍了！直接在官网看吧！
https://ai.meta.com/blog/meta-llama-3/
想深入学习如何微调、如何应用在生产的！雄哥决定！后面用llama3做实践！这里也可以看到一些介绍！
https://llama.meta.com/docs/model-cards-and-prompt-formats/meta-llama-3
篇幅有限！
本次！雄哥在知识储备、逻辑推理、文本理解、多步骤计算能力、创造性能力，共5个方面！
本次测试llma3-8B模型！占用显存18G！
整个测试记录，是这样的！
雄哥先让他自己出个题，刁难自己！
雄哥：我在测试大模型能力，请你帮我出5个测试题
llama3：1. 文本分类
请将以下文本分类为“正面”或“负面”：
“今天我去商场买了件新衣服，感觉很好。”
2. 机器人对话
你是一名机器人，和人类用户进行对话。用户说：“我想去旅游，但不知道哪里好去？”你该如何回应？
3. 问题回答
请回答以下问题：
“什么是人工智能？”
4. 文本生成
请根据以下提示生成一篇短文：
“一个夏天的午后，我和朋友们去海滩度假，看到了一些美丽的海洋生物。”
5. 推理题
请根据以下信息推理：
“小明的年龄是18岁，他的父亲比他小3岁，他的母亲比他大5岁。那么，小明的父亲和母亲的年龄分别是多少？”
这些测试题旨在评估大模型的语言理解、生成和推理能力。如果你需要更多测试题或有任何其他需求，请随时问我。
感觉还行，但是没有深度，我让他再出五个！
llama3回答：
1. 如果你是一名历史学家，如何解释中国古代的「官场」体制对社会的影响？请详细描述其结构、特点和作用。
2. 在中国古代文学中，「儒家」、「道家」、「法家」三大学派的思想有什么共同点和不同点？请使用具体的例子和分析来解释。
3. 假设你是一名环境科学家，如何分析和解决中国的「大气污染」问题？请列举可能的解决方案和对环境的影响。
4. 在中国的经济发展中，「计划经济」和「市场经济」的区别是什么？请分析其优缺和对经济的影响。
5. 如果你是一名哲学家，如何解释「儒家」、「道家」、「法家」三大学派对中国古代社会的影响？请使用哲学概念和理论来分析和解 释。
那雄哥能放过它吗？
直接上难度！
雄哥问：假设你是一名环境科学家，如何分析和解决中国的「大气污染」问题？请列举可能的解决方案和对环境的影响。
llama3答：作为环境科学家，我将从多方面分析中国的「大气污染」问题，并提出可能的解决方案和对环境的影响。
**分析问题**
中国的「大气污染」问题是由多种因素共同导致的，包括：
1. 工业生产中的污染物排放（例如：SO2、NOx、PM10等）；
2. 交通运输中的污染物排放（例如：汽车尾气、机动车排放等）；
3. 农业生产中的污染物排放（例如：农药、 pesticides 等）；
4. 房屋和建筑中的污染物排放（例如：建筑材料中的 Formaldehyde 等）；
5. 天然气污染（例如：旱烟、森林火灾等）。
这些污染物会在大气中积聚，导致空气污染，影响人们的健康和生活质量。
**解决方案**
1. **加强污染物排放限制**：制定和实施更加严格的污染物排放标准，鼓励企业和个人采取污染控制措施。
2. **推广新能源和可再生能源**：鼓励使用新能源和可再生能源，例如：风力发电、太阳能发电等，减少化石燃料的使用。
3. **改善交通运输方式**：鼓励使用公共交通、非机动车、电动车等，减少汽车尾气的排放。
4. **推广环保技术**：鼓励企业和个人使用环保技术，例如：废气处理设备、污染物捕捉系统等。
5. **加强环境监管和监测**：加强环境监管和监测，确保污染物排放的控制和减少。
6. **推广环保文化**：推广环保文化，鼓励人们参与环保活动，提高环保意识和责任感。
巴拉巴拉！太多了！还没测英文，感兴趣的自己测吧！
第二部分：如何下载？国内如何使用？
雄哥已经把模型和部署代码，都上传到知识星球会员盘了！国内不限速！
70B正在上传中！太大了！
模型文件，后台直接回复 “llama3” 直接获得下载链接！
部署代码，需要成为知识星球会员才可下载！如果你还未加入，直接在这里加入！还不了解我们是什么组织？
当然啦！meta的huggingface官网也能下载！
你只需要在下方网址，填写姓名、邮箱等信息后，静静等待官方的通过，通过后，你就能下载了！
在这！
https://huggingface.co/meta-llama/Meta-Llama-3-8B-Instruct
后续我们做微调，一定要模型文件在本地的！
所以！在实践组的朋友们，快下载去吧！
第三部分：如何在本地部署？
终于来到，最重要环节！
本次部署环境：
wsl的miniconda环境！
cuda 12.2.0+Python 3.9+miniconda+pytorch2.1.2
cuda版本不是这个的，改为一样的！否则你会出现很多报错！
部署模型：Meta-Llama-3-8B-Instruct
直接开干！
打开小企鹅，我们进入wsl环境！
先创建一个conda环境，名字叫“yiyiai”，指定3.9的Python版本！
conda create -n yiyiai python=3.9
激活环境！
conda activate yiyiai
安装pytorch！不要搞错版本！不要最新的！
conda install pytorch==2.1.2 torchvision==0.16.2 torchaudio==2.1.2 pytorch-cuda=12.1 -c pytorch -c nvidia
把你下载到的部署代码和模型文件，以这样的层级关系，放进去！
回到wsl窗口！输入指令！回车！
torchrun --nproc_per_node 1 example_chat_completion.py --ckpt_dir Meta-Llama-3-8B-Instruct/ --tokenizer_path Meta-Llama-3-8B-Instruct/tokenizer.model --max_seq_len 512 --max_batch_size 6
这里，雄哥介绍一下整个指令的意思！
–nproc_per_node ：
这个参数，是模型MP值，8B模型=1！70B模型=8！
max_seq_len（最大序列长度）:
对模型性能有重要影响：如果设置得太短，可能会导致重要信息截断；如果设置得太长，可能会导致计算资源浪费，并且降低模型性能！
max_batch_size（最大批处理大小）：
在推理（推理）过程中，max_batch_size 也会影响模型能够同时处理的最大请求数量！较大的批处理大小可以提高吞吐量，但可能会增加延迟，因为模型需要等待所有请求一起处理。
回车后，你应该就来到了这个界面！
雄哥没有写UI，只是在窗口对话！关系不大！后面我们可以把他接入langchain或知识库中！
都行！
