android-ndk开发(12): 获取ndk内置clang的版本详情

android-ndk开发(12): 获取ndk内置clang的版本详情

1. 概要

android-ndk 从 r21 版本支持 lld 链接器， 从 r22 版本默认使用 lld 链接器。 迩来发现 r21 ~ r25 版本的 lld 链接器有 bug， 在生成可实行文件时， 按下令行提示 lld 默认启用 --no-allow-shlib-undefined 选项， 但实际却表现为 --allow-shlib-undefined 选项; 而在 r26 版本中， 这个 bug 被修复了。
也就是说， ndk 里内置的 lld 和 LLVM 官方的 lld 在 major.minor 版本号同等时， 一个链接报错， 一个不报错， 这让人很困惑。
能否找到 ndk 内置的 clang 和 lld 的版本信息？ 能否准确找到编译这了 clang 和 lld 的 LLVM 源代码堆栈、 commit hash？ 因为一旦有了 commit hash， 就可以溯源， 知道为什么会有这个 bug， 以及是否已经修复了这个 bug。
ndk 的 changelog 里没提到这些事， 不过一番实验， 我找到了答案， 现在记录如下。
2. toolchains/llvm/prebuilt/$HOST_TAG 泉源

下载 android-ndk 后会看到 toolchains/llvm/prebuilt/$HOST_TAG 目次， 里面有 clang 和 lld 的二进制文件。 它们是怎么来的？
LLVM 官方堆栈： https://github.com/llvm/llvm-project.git
toolchains/llvm-project 堆栈： https://android.googlesource.com/toolchain/llvm-project ， 是谷歌安卓团队魔改版本的 LLVM 的源代码， 定期会从 LLVM 上游同步 (grafted commit). 它的一个镜像： https://github.com/msft-mirror-aosp/toolchain.llvm-project.git
toolchains/llvm_android 堆栈： https://android.googlesource.com/toolchain/llvm_android ， 看起来是用于编译 clang 的堆栈， README.md 也提到了安卓团队用到的 clang 的来龙去脉。
prebuilts 堆栈： https://android.googlesource.com/platform/prebuilts/clang/host , 用于存放编译好的 clang 二进制文件。
ndk 源码堆栈: https://android.googlesource.com/platform/ndk, 其中 toolchains/llvm/prebuilt/$HOST_TAG 目次是从 prebuilts 堆栈下载的， 也就是编译好的二进制文件。
也就是说， 从上面5个堆栈， 最终大体得到了 android-ndk 里的 clang 和 lld 等工具链的二进制文件。 这些来龙去脉， 在 https://android.googlesource.com/toolchain/llvm_android/+/refs/heads/mirror-goog-main-llvm-toolchain-source/README.md 有详细形貌。
3. 在 manifest.xml 检察版本详情

以 ndk-r27c 为例：
/Users/zz/soft/android-ndk/r27c/toolchains/llvm/prebuilt/darwin-x86_64/manifest_12470979.xml

1.   <project path="toolchain/llvm-project" name="toolchain/llvm-project" revision="d8003a456d14a3deb8054cdaa529ffbf02d9b262" />

复制代码

也就是说： ndk-r27c 的 toolchains/llvm/prebuilt/$HOST_TAG 目次， 对应的 LLVM 源代码， 位于 toolchain/llvm-project 堆栈 (https://android.googlesource.com/toolchain/llvm-project), commit 为 d8003a456d14a3deb8054cdaa529ffbf02d9b262。

1. commit d8003a456d14a3deb8054cdaa529ffbf02d9b262 (msft-mirror-aosp/llvm-r522817)
2. Merge: 477610d4d0d9 3c92011b600b
3. Author: Yi Kong <[email protected]>
4. Date:   Mon Feb 19 19:10:28 2024 +0800
6.     Merge 3c92011b60 for LLVM update to 522817
8.     Test: presubmit
9.     Change-Id: If946b1b427b2a2434b8a06b042b8954200aa0c92

复制代码

这和直接检察 ndk-r27c 里的 clang --version 的输出能对应上：

1. ➜  r27c ./toolchains/llvm/prebuilt/darwin-x86_64/bin/clang --version
2. Android (12470979, +pgo, -bolt, +lto, -mlgo, based on r522817c) clang version 18.0.3 (https://android.googlesource.com/toolchain/llvm-project d8003a456d14a3deb8054cdaa529ffbf02d9b262)
3. Target: x86_64-apple-darwin23.6.0
4. Thread model: posix
5. InstalledDir: /Users/zz/soft/android-ndk/r27c/./toolchains/llvm/prebuilt/darwin-x86_64/bin

复制代码

4. 手动下载二进制

既然 android ndk 内置的预编译的 clang 工具链是从 toolchain/llvm-project 堆栈编译的， 那么我们也可以直接从这个堆栈下载预编译的二进制文件。
汇总各个 ndk release 版本对应的预编译 clang 下载网址：
ndkclangbased onprebuilt linkprebuilt 魔改信息ndk-r17c6.0.2r316199https://android.googlesource.com/platform/prebuilts/clang/host/windows-x86/+/refs/heads/ndk-release-r17/clang-4691093/N/Andk-r18b7.0.2r328903https://android.googlesource.com/platform/prebuilts/clang/host/windows-x86/+/refs/heads/ndk-release-r18/clang-r328903/N/Andk-r19c8.0.2r339409https://android.googlesource.com/platform/prebuilts/clang/host/windows-x86/+/refs/heads/ndk-release-r19/clang-r339409b/N/Andk-r20b8.0.7r346389chttps://android.googlesource.com/platform/prebuilts/clang/host/windows-x86/+/refs/heads/ndk-release-r20/clang-r346389c/N/Andk-r21e9.0.9r365631c3https://android.googlesource.com/platform/prebuilts/clang/host/windows-x86/+/refs/heads/ndk-release-r21/clang-r365631c3/N/Andk-r22b11.0.5r399163b1https://android.googlesource.com/platform/prebuilts/clang/host/windows-x86/+/refs/heads/ndk-release-r22/clang-r399163b1/N/Andk-r23c12.0.9r416183c2https://android.googlesource.com/platform/prebuilts/clang/host/windows-x86/+/refs/heads/ndk-release-r23/clang-r416183c2/N/Andk-r2414.0.1r437112bhttps://android.googlesource.com/platform/prebuilts/clang/host/windows-x86/+/refs/heads/ndk-r24-release/clang-r437112b/clang_source_info.mdndk-r25c14.0.7r450784d1https://android.googlesource.com/platform/prebuilts/clang/host/windows-x86/+/refs/heads/ndk-r25-release/clang-r450784d1/clang_source_info.mdndk-r26d17.0.2r487747ehttps://android.googlesource.com/platform/prebuilts/clang/host/windows-x86/+/refs/heads/ndk-r26-release/clang-r487747e/clang_source_info.mdndk-r27c18.0.3r522817chttps://android.googlesource.com/platform/prebuilts/clang/host/windows-x86/+/refs/heads/ndk-r27-release/clang-r522817c/clang_source_info.mdndk-r28b19.0.0r530567dhttps://android.googlesource.com/platform/prebuilts/clang/host/windows-x86/+/refs/heads/ndk-r28-release/clang-r530567d/clang_source_info.md

如许有什么好处呢？ 可以固定 ndk 版本， 但是更换工具链版本， 那么如果交叉编译的表现有差别， 说明是工具链的问题， 好比我遇到的 LLD 链接器行为的差别， 在 ndk-r26b 中， 通过使用 ndk-r25c 的 lld， 发现了不一样的行为。
4. 总结

android-ndk 使用的 clang / lld 等二进制工具， 是谷歌安卓团队魔改、 编译为二进制、 上传到专门的堆栈， 再在 ndk 的发行阶段下载打包。
android-ndk 的 manifest.xml 文件记录了对应的 commit hash。 不过， 仍然须要知道这些堆栈的完整地址， 才能得到源码、 切换代码到 commit hash、 或者下载编译好的工具链压缩包。
toolchains/llvm-project 提供了详确的 commit 历史记录， 可以用来排查 bug 的来龙去脉， 好比是 LLVM 官方的 bug， 还是安卓团队没有实时从上游同步导致的 bug。
而直接使用 toolchains/llvm-project 堆栈编译的二进制文件， 可以让 ndk 使用不同版本的工具链， 可以快速确定是工具链的问题， 还是 ndk 其他文件的问题。