尽管南方用兵取得成功，但刘彻深知，汉朝最大的威胁来自北方的匈奴。自汉初以来，匈奴凭借强大的骑兵力量，不断南下侵扰汉朝边境，汉高祖刘邦曾在白登之围中遇险，此后汉朝不得不采取和亲政策，以宗室女嫁与匈奴单于，并赠送大量财物，换取边境的暂时安宁。但匈奴的侵扰从未停止，文帝、景帝时期，匈奴多次突破长城防线，烧杀抢掠，成为汉朝的心腹大患。因此，刘彻将“灭胡”——即消除匈奴对汉朝的威胁——确立为最重要的战略目标。

为实现“灭胡”目标，刘彻制定了“断匈奴右臂”的战略计划，即联合匈奴的宿敌，从东西两面夹击匈奴。当时，匈奴的世仇大月氏因被匈奴击败，已迁徙至西域地区。建元三年（前138年），刘彻派遣张骞出使西域，携带大量财物，试图说服大月氏与汉朝结成军事同盟，共同夹击匈奴。张骞率领百余人的使团从长安出发，途经河西走廊时被匈奴扣押。匈奴单于为拉拢张骞，将宗室女嫁给他，并授予他官职，但张骞始终不忘使命，在匈奴扣押十余年后，终于趁乱逃脱。

逃脱后的张骞继续西行，历经大宛、康居等国，最终抵达大月氏。然而，此时的大月氏已在中亚的阿姆河流域定居，土地肥沃，生活安定，不愿再与匈奴为敌。张骞在大月氏停留一年多，反复劝说无果，只得启程返回。归途中，张骞再次被匈奴扣押，一年多后才趁匈奴内乱逃脱，于元朔三年（前126年）回到长安。此次出使西域，虽然未能实现与大月氏结盟的目标，但张骞带回了关于西域各国的地理、物产、风俗等重要信息，为汉朝了解西域、后续开拓西域奠定了基础。

张骞出使西域期间，汉朝与匈奴的关系再次面临考验。建元六年（前135年），匈奴老上单于去世，军臣单于即位，派人来汉朝要求和亲。消息传来，朝中引发激烈争论，形成了以大行令王恢为首的主战派和以御史大夫韩安国为首的主和派。

主和派以汉初的和亲政策为依据，认为匈奴骑兵强大，汉朝若与之开战，将耗费大量人力物力，得不偿失。韩安国指出：“匈奴负戎马之足，怀禽兽之心，迁徙鸟举，难得而制也。得其地不足以为利也，遇其民不可役而守也。胜必杀之，非民父母也。以天之福，吏卒良，马强力，令四夷服，愚以为不如和亲。”主战派则主张放弃和亲，以武力反击匈奴。王恢认为：“汉与匈奴和亲，率不过数岁即复倍约。不如勿许，兴兵击之。”

刘彻内心倾向于主战，但考虑到当时汉朝的军事准备尚未充分，尤其是骑兵建设仍需时间，最终采纳了主和派的主张，同意与匈奴和亲，暂时对匈奴采取韬光养晦的策略。然而，这次和亲并未带来真正的和平，匈奴依旧时常侵扰汉朝边境。