利用Python爬取ZuluJDK最新发布版本并下载作为镜像分享站

分类：Python作者：Mintimate

又是我!!!头图!

作者：Mintimate

博客：https://www.mintimate.cn Mintimate’s Blog，只为与你分享

前言

一般使用JDK，就是用OracleJDK或OpenJDK，OracleJDK商用许可证的协议经常变卦；稳妥起见，还是用OpenJDK进行项目开发比较好。

而OpenJDK的众多分支里，我比较喜欢ZuluJDK：https://www.azul.com/downloads/

但是有点尴尬，ZuluJDK的项目官网，不是很友好。有时候，即使上去了，速度也很慢，甚至一个JDK都下载不下来。

所以，我就想用我腾讯云轻量应用服务器的香港地区服务器进行中转，搭建自己的镜像站；搭建的镜像站，可以给我轻量应用服务器的上海、南京等地区提供下载直链；甚至还可以给小伙伴们下载JDK，分享喜悦( ´▽｀)

本次使用的服务器系统和地区

ZuluJDK

ZuluJDK是基于OpenJDK开发出来的，使用的协议的：GPL v2 ＋ Classpath exception (GPL v2 + CE)：

ZuluJDK协议

使用ZuluJDK，功能上基本和用OracleJDK没什么区别了，也不会受到Oracle的协议影响（ZuluJDK一直是GPL v2+CE）

关于使用OpenJDK开发Java软件，是否需要遵守 GPLv2而开源，这个还挺有热度讨论的；但是注意这个Classpath exception，我认为开发出的软件还是可以不使用GPL协议；具体怎么样，请求呼叫大佬在评论区支援(･_･;

设计思路

为了实现ZuluJDK最新版本的下载。准备使用Python解析ZuluJDk的下载地址，之后用wget下载到服务器上，最后使用Nginx进行目录映射。

环境依赖

环境依赖很简单，硬件方面：

  • 腾讯云轻量应用服务器Debian镜像系统：Python使用其wget模块，调用系统wget；Windows操作系统不知道是否可以被Python调用wget。

软件层面：

  • Python3.x：核心软件，用于写爬虫。
  • Vim8.2 With YCM：文本编辑器，用于写Python脚本。
  • PAW：网络API测试软件，可用curll配合grep命令代替。

Python的模块依赖：

requests==2.27.1
wget==3.2

数据获取

首先观察页面：https://www.azul.com/downloads/

发现数据接口：

数据接口

将其接口复制，使用paw或者postman进行测试：

解析

发现这个就是纯JSON对象，而且接收的请求：结构分明。

那设计就太简单了。

在Python里用requests库进行模拟请求，请求头：

URL = "https://www.azul.com/wp-admin/admin-ajax.php?action=bundles&endpoint=community&use_stage=false&include_fields%5B%5D=java_version&include_fields%5B%5D=os&include_fields%5B%5D=javafx&include_fields%5B%5D=latest&include_fields%5B%5D=ext"
HEADERS = {
    'Accept': 'application/json, text/javascript, */*; q=0.01',
    'x-csrf-token': '',
    'x-requested-with': 'XMLHttpRequest',
    'cookie': ''
    ,
    'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.212 Safari/537.36'
}

发送请求并解析为JSON：

def get_zulu_json():
    response = requests.get(url=URL,
                            headers=HEADERS).json()
    return response

编写测试

这样就可以把所有ZuluJDK的版本信息获取到了：

所有信息

但是这样有点尴尬，没想到有这么多，直接把我腾讯云轻量应用服务器的控制台铺满了……

可怜的小白云，没事！！！我拿PAW去帮你分担压力～～～

PAW里显示，有4473项，显然是过去所有的构建版本都在这里了。

Zulu的服务器好大……4473个JDK/JRE……起码有1T的存储空间了。

所以我们需要过滤，简称：拆对象⁄(⁄ ⁄ ⁄ω⁄ ⁄ ⁄)⁄

数据处理

处理起来很简单，观察JSON对象的属性，举例：

{
    "abi": "any", 
    "arch": "arm", 
    "bundle_type": "jdk", 
    "cpu_gen": [
      "v8"
    ], 
    "ext": "zip", 
    "features": [
      "jdk"
    ], 
    "hw_bitness": "64", 
    "id": 17865, 
    "java_version": [
      19, 
      0, 
      0
    ], 
    "javafx": false, 
    "jdk_version": [
      19, 
      0, 
      0, 
      6
    ], 
    "latest": false, 
    "name": "zulu19.0.21-ea-jdk19.0.0-ea.6-macosx_aarch64.zip", 
    "openjdk_build_number": 6, 
    "os": "macos", 
    "release_status": "ea", 
    "sha256_hash": "85493b2ab7bc2cba742856684730ee42a8ee71d3d0a510770a5d0071a2622903", 
    "support_term": "sts", 
    "url": "https://cdn.azul.com/zulu/bin/zulu19.0.21-ea-jdk19.0.0-ea.6-macosx_aarch64.zip", 
    "zulu_version": [
      19, 
      0, 
      21, 
      0
    ]
  },

可以看到，有ext、latest和name等等参数。一般JDK都是自己配置，操作系统一般也就是Windows、Linux和macOS。

不会有人是用安装器安装的吧？不会吧，不会吧，不好吧……用安装器安装，到时候卸载会不会找不到它(｡ ́︿ ̀｡)

macOS和Linux的ZuluJDK，通用的肯定是归档文件（tar、tar.gz)，Windows的ZuluJDk都是zip文件，且os="windows"。

所以我们过滤两次。（拆两次对象，芜湖，我好坏）

macOS/Linux

所以我们对JSON进行过滤：

def filter_by(zulu_info, latest=None, javafx=None, ext=None, os=None):
    params = locals()
    params.pop('zulu_info')
    for key in params:
        if params[key] is None:
            continue
        if zulu_info.get(key) != params[key]:
            return False
    return True
    
download_list=list(filter(lambda x: filter_by(x, javafx=True, ext="tar.gz"), zulu_json))

编辑

其中：

  • zulu_json：上文数据爬取得到的JSON（就是那个4000多对象的◡ ヽ(`Д´)ﾉ ┻━┻）

计算长度看看：

长度

真不错，只有342项了。

但是这里还有JRE，小伙伴还需要JRE？？？

直接砍了！！！并且你可以发现，这个JSON对象，数据越前，版本越新。我们就每次只缓冲下载最新版本的吧：

# 用于记数
temp_list = {}
for item in filtered_list:
    # 正则判断是否是JDK
    if re.search(r"jdk", item['name']) is None:
        # 不是JDK，直接跳过循环
        continue
    # 查看JDK版本（大版本，如：JDK11、JDK17等）
    jdk_version_code = str(item['jdk_version'][0])
    # 拼接为系统+JDK版本形式
    OS_version = jdk_version_code + item['name'].split("-")[-1]
    # 如果对象存在，直接跳出循环
    if OS_version in temp_list.keys():
        continue
    else:
        temp_list[OS_version] = 1,

这样，就可以保证，每个系统的每个大版本，只下载一次：

测试一下

342变20项

可以看到，这样的话342项就变成只有27项了（macOS/Windows）

Windows

Windows的过滤和下载macOS和Linux的方法一样了：

download_list=list(filter(lambda x: filter_by(x, javafx=True, ext="zip",os="windows"), zulu_json))

和刚刚Linux方法一样，再过滤掉JRE，只留最新版本：

使用代码

最后结果

这样看来，下载的内容不多（27+12）

下载JDK

最后，我们就是下载了。这里使用wget对数据进行下载；Python的wget模块：https://pypi.org/project/wget/

这个可不是GNU的wget工具，是用来Python里调用wget进行下载的。

安装wget模块：

pip3 install wget

安装wget

定义一个下载目录：

def has_dir(path):
    if not os.path.exists(path):
        os.makedirs(path)

之后不全过滤时候的代码：

def download_by_list(filtered_list):
    temp_list = {}
    for item in filtered_list:
        if re.search(r"jdk", item['name']) is None:
            continue
        jdk_version_code = str(item['jdk_version'][0])
        OS_version = jdk_version_code + item['name'].split("-")[-1]
        if OS_version in temp_list.keys():
            continue
        else:
            temp_list[OS_version] = 1,
        # 设置wget下载目录
        save_path = "ZuluJDK_Mirror/" + jdk_version_code + "/"
        # 判断目录是否存在
        has_dir(save_path)
        print("开始下载：" + item['name'])
        # 下载
        wget.download(item['url'], out=save_path + item['name'])
        print("\n")
        # 线程休眠
        time.sleep(20)

最后效果

最后，我们编写的Python脚本：

编辑代码

使用Python命令运行：

开始下载和爬取

最后下载下来的文件：

下载下来的文件

使用Nginx做个目录映射：

目录映射

当然，我们可以使用Cron定期缓冲最新版本的ZuluJDK，这里就不演示了。

END

最后，我们就可以把Nginx目录映射的地址发给想下载ZuluJDK的小伙伴了。

另外…… 突然发现：我直接解析了ZuluJDK的直链，用Nginx进行反代……似乎更方便；还不用占服务器空间！！！

不过，还是这样好点，确保资源持久化～～～而且，腾讯云轻量应用服务器的中国香港地区硬盘资源，更充分地使用了，享受自己造“轮子”的快乐(*☻-☻*)

原文地址：https://cloud.tencent.com/developer/article/1941567

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。

数据处理轻量应用服务器

相关推荐

Python中的函数（二）
Python中的函数（二） 在上一篇文章中提到了Python中函数的定义和使用，在这篇文章里我们来讨论下关于函数的一些更深的话题。在学习C语言函数的时候，遇到的问题主要有形参实参的区别、参数的传递和改变、变量的作用域。同样在Python中，关于对函数的理解和使用也存在这些问题。下面来逐一讲解。一.函
Python中的字符串
Python中的字符串 可能大多数人在学习C语言的时候，最先接触的数据类型就是字符串，因为大多教程都是以"Hello world"这个程序作为入门程序，这个程序中要打印的"Hello world"就是字符串。如果你做过自然语言处理方面的研究，并且用Python
Python 面向对象编程（一）
Python 面向对象编程（一） 虽然Python是解释性语言，但是它是面向对象的，能够进行对象编程。下面就来了解一下如何在Python中进行对象编程。一.如何定义一个类 在进行python面向对象编程之前，先来了解几个术语：类，类对象，实例对象，属性，函数和方法。 类是对现实世界中一些事物的封装，
Python面向对象编程（二）
Python面向对象编程（二） 在前面一篇文章中谈到了类的基本定义和使用方法，这只体现了面向对象编程的三大特点之一：封装。下面就来了解一下另外两大特征：继承和多态。 在Python中，如果需要的话，可以让一个类去继承一个类，被继承的类称为父类或者超类、也可以称作基类，继承的类称为子类。并且Pytho
Python中的函数（一）
Python中的函数（一） 接触过C语言的朋友对函数这个词肯定非常熟悉，无论在哪门编程语言当中，函数（当然在某些语言里称作方法，意义是相同的）都扮演着至关重要的角色。今天就来了解一下Python中的函数用法。一.函数的定义 在某些编程语言当中，函数声明和函数定义是区分开的（在这些编程语言当中函数声明
在windows下如何快速搭建web.py开发框架
在windows下如何快速搭建web.py开发框架 用Python进行web开发的话有很多框架供选择，比如最出名的Django，tornado等，除了这些框架之外，有一个轻量级的框架使用起来也是非常方便和顺手，就是web.py。它由一名黑客所创建，但是不幸的是这位创建者于2013年自杀了。据说现在由
将Sublime Text 2搭建成一个好用的IDE
将Sublime Text 2搭建成一个好用的IDE 说起编辑器，可能大部分人要推荐的是Vim和Emacs，本人用过Vim，功能确实强大，但是不是很习惯，之前一直有朋友推荐SUblime Text 2这款编辑器，然后这段时间就试了一下，就深深地喜欢上这款编辑器了...
Python中的模块
Python中的模块 有过C语言编程经验的朋友都知道在C语言中如果要引用sqrt这个函数，必须用语句"#include<math.h>"引入math.h这个头文件，否则是无法正常进行调用的。那么在Python中，如果要引用一些内置的函数，该怎么处理呢？在Python中
Python的基础语法
Python的基础语法 在对Python有了基础的认识之后，下面来了解一下Python的基础语法，看看它和C语言、java之间的基础语法差异。一.变量、表达式和语句 Python中的语句也称作命令，比如print "hello python"这就是一条语句。 表达式，顾名思义，是
Eclipse+PyDev+Django+Mysql搭建Python web开发环境
Eclipse+PyDevʽjango+Mysql搭建Python web开发环境 Python的web框架有很多，目前主流的有Django、Tornado、Web.py等，最流行的要属Django了，也是被大家最看好的框架之一。下面就来讲讲如何搭建Django的开发环境。一.准备工作 需要下载的
在windows下安装配置Ulipad
在windows下安装配置Ulipad 今天推荐一款轻便的文本编辑器Ulipad，用来写一些小的Python脚本非常方便。 Ulipad下载地址： https://github.com/limodou/ulipad http://files.cnblogs.com/dolphin0520/u...
Python中的函数（三）
Python中的函数（三） 在前面两篇文章中已经探讨了函数的一些相关用法，下面一起来了解一下函数参数类型的问题。在C语言中，调用函数时必须依照函数定义时的参数个数以及类型来传递参数，否则将会发生错误，这个是严格进行规定的。然而在Python中函数参数定义和传递的方式相比而言就灵活多了。一.函数参数的
在Notepad++中搭配Python开发环境
在Notepad++中搭配Python开发环境 Python在最近几年一度成为最流行的语言之一，不仅仅是因为它简洁明了，更在于它的功能之强大。它不仅能够完成一般脚本语言所能做的事情，还能很方便快捷地进行大规模的项目开发。在学习Python之前我们来看一下Python的历史由来，"Pytho
Python中的条件选择和循环语句
Python中的条件选择和循环语句 同C语言、Java一样，Python中也存在条件选择和循环语句，其风格和C语言、java的很类似，但是在写法和用法上还是有一些区别。今天就让我们一起来了解一下。一.条件选择语句 Python中条件选择语句的关键字为：if 、elif 、else这三个。其基本形式如
关于raw_input()和sys.stdin.readline()的区别
关于raw_input( )和sys.stdin.readline( )的区别 之前一直认为用raw_input( )和sys.stdin.readline( )来获取输入的效果完全相同，但是最近在写程序时有类似这样一段代码：import sysline = sys.stdin.readline()
初识Python
初识Python 跟学习所有的编程语言一样，首先得了解这门语言的编程风格和最基础的语法。下面就让我们一起来了解一下Python的编程风格。1.逻辑行与物理行 在Python中有逻辑行和物理行这个概念，物理行是指在编辑器中实际看到的一行，逻辑行是指一条Python语句。在Python中提倡一个物理行只
retry重试常见场景及实现
当我们的代码是有访问网络相关的操作时,比如http请求或者访问远程数据库，经常可能会发生一些错误，有些错误可能重新去发送请求就会成功，本文分析常见可能需要重试的场景，并最后给出python代码实现。
python迭代器和生成器
1.经典迭代器 2.将Sentence中的__iter__改成生成器函数 改成生成器后用法不变，但更加简洁。 3.惰性实现 当列表比较大，占内存较大时，我们可以采用惰性实现，每次只读取一个元素到内存。 或者使用更简洁的生成器表达式 4.yield from itertools模块含有大量生成器函数可
python-kafka源码解析之socketpair
本文介绍简单介绍socket的常用函数,并以python-kafka中的源码socketpair为例，来讲解python socket的运用
彻底弄懂python编码
python实践中经常出现编码相关的异常，大多网上找资料而没有理解原理，导致一次次重复错误。本文对常用Unicode、UTF-8、GB2312编码的原理进行介绍，接着介绍了python字符类型unicode和str以及常见编解码错误UnicodeEncodeError和UnicodeDEcodeEr
pythonJavaScriptjavaHTMLPHPreactjsC#AndroidCSSNode.jssqlrpython-3.xMysqLjQueryc++pandasFlutterangularIOSdjangolinuxswifttypescript路由器JSON路由器设置无线路由器h3c华三华三路由器设置华三路由器电脑软件教程arraysdocker软件图文教程Cvue.jslaravelspring-boot