git_mirror.py

   1 # Copyright (c) 2015, Ralf Jung <post@ralfj.de>
   2 # All rights reserved.
   3 #
   4 # Redistribution and use in source and binary forms, with or without
   5 # modification, are permitted provided that the following conditions are met:
   6 #
   7 # 1. Redistributions of source code must retain the above copyright notice, this
   8 #    list of conditions and the following disclaimer.
   9 # 2. Redistributions in binary form must reproduce the above copyright notice,
  10 #    this list of conditions and the following disclaimer in the documentation
  11 #    and/or other materials provided with the distribution.
  12 #
  13 # THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS "AS IS" AND
  14 # ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED
  15 # WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE ARE
  16 # DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT OWNER OR CONTRIBUTORS BE LIABLE FOR
  17 # ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES
  18 # (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES;
  19 # LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND
  20 # ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
  21 # (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF THIS
  22 # SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
  23 #==============================================================================
  24 import sys, os, os.path, subprocess
  25 import configparser, itertools, re
  26 import hmac, hashlib
  27 import email.mime.text, email.utils, smtplib
  28
  29 mail_sender = "null@localhost"
  30
  31 class GitCommand:
  32     def __getattr__(self, name):
  33         def call(*args, capture_stderr = False, check = True):
  34             '''If <capture_stderr>, return stderr merged with stdout. Otherwise, return stdout and forward stderr to our own.
  35                If <check> is true, throw an exception of the process fails with non-zero exit code. Otherwise, do not.
  36                In any case, return a pair of the captured output and the exit code.'''
  37             cmd = ["git", name.replace('_', '-')] + list(args)
  38             with subprocess.Popen(cmd, stdout=subprocess.PIPE, stderr=subprocess.STDOUT if capture_stderr else sys.stderr) as p:
  39                 (stdout, stderr) = p.communicate()
  40                 assert stderr is None
  41                 code = p.returncode
  42                 if check and code:
  43                     raise Exception("Error running {0}: Non-zero exit code".format(cmd))
  44             return (stdout.decode('utf-8').strip('\n'), code)
  45         return call
  46
  47 git = GitCommand()
  48 git_nullsha = 40*"0"
  49
  50 def git_is_forced_update(oldsha, newsha):
  51     out, code = git.merge_base("--is-ancestor", oldsha, newsha, check = False) # "Check if the first <commit> is an ancestor of the second <commit>"
  52     assert not out
  53     assert code in (0, 1)
  54     return False if code == 0 else True # if oldsha is an ancestor of newsha, then this was a "good" (non-forced) update
  55
  56 def read_config(fname, defSection = 'DEFAULT'):
  57     '''Reads a config file that may have options outside of any section.'''
  58     config = configparser.ConfigParser()
  59     with open(fname) as file:
  60         stream = itertools.chain(("["+defSection+"]\n",), file)
  61         config.read_file(stream)
  62     return config
  63
  64 def send_mail(subject, text, recipients, sender, replyTo = None):
  65     assert isinstance(recipients, list)
  66     if not len(recipients): return # nothing to do
  67     # construct content
  68     msg = email.mime.text.MIMEText(text.encode('UTF-8'), 'plain', 'UTF-8')
  69     msg['Subject'] = subject
  70     msg['Date'] = email.utils.formatdate(localtime=True)
  71     msg['From'] = sender
  72     msg['To'] = ', '.join(recipients)
  73     if replyTo is not None:
  74         msg['Reply-To'] = replyTo
  75     # put into envelope and send
  76     s = smtplib.SMTP('localhost')
  77     s.sendmail(sender, recipients, msg.as_string())
  78     s.quit()
  79
  80 class Repo:
  81     def __init__(self, name, conf):
  82         '''Creates a repository from a section of the git-mirror configuration file'''
  83         self.name = name
  84         self.local = conf['local']
  85         self.owner = conf['owner'] # email address to notify in case of problems
  86         self.hmac_secret = conf['hmac-secret'].encode('utf-8')
  87         self.deploy_key = conf['deploy-key'] # the SSH ky used for authenticating against remote hosts
  88         self.mirrors = {} # maps mirrors to their URLs
  89         mirror_prefix = 'mirror-'
  90         for name in filter(lambda s: s.startswith(mirror_prefix), conf.keys()):
  91             mirror = name[len(mirror_prefix):]
  92             self.mirrors[mirror] = conf[name]
  93
  94     def mail_owner(self, msg):
  95         global mail_sender
  96         send_mail("git-mirror {0}".format(self.name), msg, recipients = [self.owner], sender = mail_sender)
  97
  98     def compute_hmac(self, data):
  99         h = hmac.new(self.hmac_secret, digestmod = hashlib.sha1)
 100         h.update(data)
 101         return h.hexdigest()
 102
 103     def find_mirror_by_url(self, match_urls):
 104         for mirror, url in self.mirrors.items():
 105             if url in match_urls:
 106                 return mirror
 107         return None
 108
 109     def setup_env(self):
 110         '''Setup the environment to work with this repository'''
 111         os.chdir(self.local)
 112         ssh_set_ident = os.path.join(os.path.dirname(__file__), 'ssh-set-ident.sh')
 113         os.putenv('GIT_SSH', ssh_set_ident)
 114         ssh_ident = os.path.join(os.path.expanduser('~/.ssh'), self.deploy_key)
 115         os.putenv('GIT_MIRROR_SSH_IDENT', ssh_ident)
 116
 117     def update_mirrors(self, ref, oldsha, newsha):
 118         '''Update the <ref> from <oldsha> to <newsha> on all mirrors. The update must already have happened locally.'''
 119         assert len(oldsha) == 40 and len(newsha) == 40, "These are not valid SHAs."
 120         source_mirror = os.getenv("GIT_MIRROR_SOURCE") # in case of a self-call via the hooks, we can skip one of the mirrors
 121         self.setup_env()
 122         # check for a forced update
 123         is_forced = newsha != git_nullsha and oldsha != git_nullsha and git_is_forced_update(oldsha, newsha)
 124         # tell all the mirrors
 125         for mirror in self.mirrors:
 126             if mirror == source_mirror:
 127                 continue
 128             sys.stdout.write("Updating mirror {0}\n".format(mirror)); sys.stdout.flush()
 129             # update this mirror
 130             if is_forced:
 131                 # forcibly update ref remotely (someone already did a force push and hence accepted data loss)
 132                 git.push('--force', self.mirrors[mirror], newsha+":"+ref)
 133             else:
 134                 # nicely update ref remotely (this avoids data loss due to race conditions)
 135                 git.push(self.mirrors[mirror], newsha+":"+ref)
 136
 137     def update_ref_from_mirror(self, ref, oldsha, newsha, mirror, suppress_stderr = False):
 138         '''Update the local version of this <ref> to what's currently on the given <mirror>. <oldsha> and <newsha> are checked. Then update all the other mirrors.'''
 139         self.setup_env()
 140         url = self.mirrors[mirror]
 141         # first check whether the remote really is at newsha
 142         remote_state, code = git.ls_remote(url, ref)
 143         if remote_state:
 144             remote_sha = remote_state.split()[0]
 145         else:
 146             remote_sha = git_nullsha
 147         assert newsha == remote_sha, "Someone lied about the new SHA, which should be {0}.".format(newsha)
 148         # locally, we have to be at oldsha or newsha (the latter can happen if we already got this update, e.g. if it originated from us)
 149         local_state, code = git.show_ref(ref, check=False)
 150         if code == 0:
 151             local_sha = local_state.split()[0]
 152         else:
 153             if len(local_state):
 154                 raise Exception("Something went wrong getting the local state of {0}.".format(ref))
 155             local_sha = git_nullsha
 156         assert local_sha in (oldsha, newsha), "Someone lied about the old SHA."
 157         # if we are already at newsha locally, we also ran the local hooks, so we do not have to do anything
 158         if local_sha == newsha:
 159             return "Local repository is already up-to-date."
 160         # update local state from local_sha to newsha.
 161         if newsha != git_nullsha:
 162             # We *could* now fetch the remote ref and immediately update the local one. However, then we would have to
 163             # decide whether we want to allow a force-update or not. Also, the ref could already have changed remotely,
 164             # so that may update to some other commit.
 165             # Instead, we just fetch without updating any local ref. If the remote side changed in such a way that
 166             # <newsha> is not actually fetched, that's a race and will be noticed when updating the local ref.
 167             git.fetch(url, ref, capture_stderr = suppress_stderr)
 168             # now update the ref, checking the old value is still local_oldsha.
 169             git.update_ref(ref, newsha, 40*"0" if local_sha is None else local_sha)
 170         else:
 171             # ref does not exist anymore. delete it.
 172             assert local_sha != git_nullsha, "Why didn't we bail out earlier if there is nothing to do...?"
 173             git.update_ref("-d", ref, local_sha) # this checks that the old value is still local_sha
 174         # Now run the post-receive hooks. This will *also* push the changes to all mirrors, as we
 175         # are one of these hooks!
 176         os.putenv("GIT_MIRROR_SOURCE", mirror) # tell ourselves which repo we do *not* have to update
 177         with subprocess.Popen(['hooks/post-receive'], stdin=subprocess.PIPE, stdout=subprocess.PIPE, stderr=subprocess.STDOUT) as p:
 178             (stdout, stderr) = p.communicate("{0} {1} {2}\n".format(oldsha, newsha, ref).encode('utf-8'))
 179             stdout = stdout.decode('utf-8')
 180             if p.returncode:
 181                 raise Exception("post-receive git hook terminated with non-zero exit code {0}:\n{1}".format(p.returncode, stdout))
 182         return stdout
 183
 184 def find_repo_by_directory(repos, dir):
 185     for (name, repo) in repos.items():
 186         if dir == repo.local:
 187             return name
 188     return None
 189
 190 def load_repos():
 191     global mail_sender
 192     conffile = os.path.join(os.path.dirname(__file__), 'git-mirror.conf')
 193     conf = read_config(conffile)
 194     mail_sender = conf['DEFAULT']['mail-sender']
 195
 196     repos = {}
 197     for name, section in conf.items():
 198         if name != 'DEFAULT':
 199             repos[name] = Repo(name, section)
 200     return repos
 201