根据淘宝规定，如果香港客户在淘宝购物后需要退货，退货的费用将由卖家承担。在退货过程中，卖家需要承担退货运费和退款金额。如果是因为商品质量问题或者卖家违反了交易规则，那么卖家也需要承担退货的责任。

但如果是因为买家个人原因导致的退货，例如因为尺码不合适或者不喜欢商品，那么退货的运费将由买家承担。总的来说，淘宝对退货的责任划分是比较清晰和公平的，可以保障买家和卖家的权益。