阻止 Bing/Google 收录自建 Gitea 链接

最近去检查 Bing 和 Google 的网站收录情况，发现收录了一大堆自建的 Gitea 和 Memos 链接，这些链接不太希望直接发布在收索引擎中，而且变换比较快，参考意义不大，所以想阻止被收录。

临时删除 ¶

如果只需要临时删除这些索引，Google 和 Bing 都提供了入口，不过需要每一定时间手动延期。

永久阻止 ¶

对于使用 docker 部署的 Gitea，按照官网的安装教程挂载了卷，例如：

docker-compose.yml

...
services:
  server:
    image: docker.io/gitea/gitea:1.23.1
    ...
    volumes:
      - ./gitea:/data
    ...

容器中的 /data/gitea 目录与宿主机的./gitea/gitea 目录对应，这个目录是用于存放自定义文件的，创建目录 templates/custom，在该目录下创建 header.tmpl 文件，并写入：

header.tmpl

1	<meta name="robots" content="noindex">

重启 Gitea 查看效果即可：

搜索过程 ¶

在 Google 和 Bing 的官方文档中都提到了不要使用 robots.txt 作为屏蔽机制，而推荐了三种方法：

将 noindex 元标记添加到页面的 <head> 部分，安全性较低，还可能被收录
禁止访问（例如需要密码），但操作不现实，除非全部私有化仓库
移除网站，404 Not Found，更不可行

所以下一步是查找怎么在 Gitea 中找到页面 <head> 部分并且修改。右键查看自建 Gitea 网页的源代码，找到已有的元标记，然后在 Gitea 的官方 Github 仓库中搜索，找到包含这部分的文件，即 templates/base/head.tmpl。

在代码中包含了这样一段：

templates/base/head.tmpl

<!DOCTYPE html>
<html lang="{{ctx.Locale.Lang}}" data-theme="{{UserThemeName .SignedUser}}">
<head>
    ...
    {{template "base/head_opengraph" .}}
    {{template "base/head_style" .}}
    {{template "custom/header" .}}
</head>

结合 Gitea 自定义模板的内容，在自定义目录下创建 templates/custom，并在其中创建 header.tmpl 文件，写入：

header.tmpl

1	<meta name="robots" content="noindex">

即可实现效果。

临时删除 ¶

永久阻止 ¶

搜索过程 ¶

参考资料 ¶