两人一拍即合，开始为丝路之行做准备：到中国历史博物馆，向沈从文、史树青请教；到中央美术学院，向常任侠请教；查阅中外文献，收集东西方文化交流和贸易往来的资料，研究佛教艺术的发源地和传播途径。
1975年9月，两人从北京出发，坐了四天四夜火车到达乌鲁木齐，再去天山南北、伊犁昭苏、吐鲁番、喀什等地写生。在那里，他们饱览丝路沿途风光，吮吸大自然的养分。
耿玉琨记得，跟随考古队进入高昌古城时，他们立即被壮观的遗迹所吸引。考古队长边走边指着遗迹娓娓道来：这是城墙，那是店铺；这里是羊圈，那里是军队的操练场；还有衙署、监狱、作坊、庙宇……随处可见椽子、栅栏的残余，还可以看到席子、陶器、铁器，以及残破的家具。
两人恍若穿越时空，回到千年前的丝绸古道。“历史太博大深邃了，而这一条古道，正是时空交错的触点。它包含着令人神往的大量信息，等待着一个有缘人的破译和传承，而我好像就是那个有缘的幸运儿。”赵以雄曾如此讲述。
“就走丝绸之路，就做丝路画家”
“孩子们，你们有没有去过火焰山呀？我跟你们说呀，我们当年在这里碰上一个变了形的孙悟空……”
耿玉琨随便抛出一个故事，都让粉丝们惊叹不已。当年她和老伴数次从早到晚蹲守在火焰山写生，一只苍蝇飞到她的帽檐下躲烈日，“赶都赶不走”，被她戏称为来借芭蕉扇的孙悟空。而领略到连当地人都难得一见的，雨中、雪花飞扬中的火焰山——这样的经历，在他们丝绸之路考察写生的过程中，不过是稀松平常的事。
初踏丝绸之路时，耿玉琨夫妇充满了欢欣与喜悦。1978年第二次同行，他们由库尔勒出发，环行塔克拉玛干沙漠考察。耿玉琨回忆，到民丰县后，他们决定到沙漠腹地100公里的大麻扎去写生。乘坐的拖拉机时行时坏，他们索性跳了下来，转而步行。“太阳逐渐升起，我们也越走越暖和，兴致也高了起来，我还不时唱上几句王洛宾的歌，有一种征服大漠，与先人同路的豪情。”耿玉琨说。
但很快，他们就领略到沙漠的可怕。地平线上浮起一层深褐色土雾，打着旋升腾，“顶天立地”，从远方急速朝他们卷来。两人吓得发抖，赵以雄拉起耿玉琨向低矮处奔去。眼看着高大的沙丘一米一米削去，轰隆隆向他们疾扫过来，“像皮鞭抽在身上”，耿玉琨的口鼻被风沙呛住透不过气来，身体开始抽搐。“老赵脱下衣服一把蒙在我的头上，随后他也把头伸了进来。”耿玉琨回忆，一个小时后，风势弱了下去，两人钻出衣服，发现身边沙丘统统不见了，“一具被岁月和风沙残蚀的骨架，显露了出来……”
这样的惊险时刻，他们遇到过几十次。“当然害怕。没有什么比生命更珍贵，我们是考察，不是冒险。”耿玉琨夫妇在一次采访中坦言，“但那种向往是抑制不住的，只要还有没走过的丝路地点，我们就渴望前去，在做决定时，我们往往想的是可能而不是危险。碰到了，想办法，但不会后悔。因为我们做的是自己最愿意、最向往的事。”
“环塔”归来，已是1978年的除夕。耿玉琨夫妇到达敦煌，敲开了常书鸿的家门。常书鸿的夫人说常先生刚喝了中药，在里屋休息。耿玉琨急切地说：“我们用了两个月时间，围着塔克拉玛干沙漠考察写生，画了很多画。”“你们的画呢？拿来我看看。”“哗”地一声，常书鸿撩开门帘，迫不及待地问道。常书鸿不知道那些画离他家还有二里地远，耿玉琨夫妇返回去抬着画来到常先生家。常书鸿高兴地一张张看、一张张点评。“我们感动得不得了啊！”讲起这一段，耿玉琨双手合十，对前辈的知遇之恩满怀感激。
常书鸿告诉耿玉琨夫妇，自己此前一直想环塔克拉玛干沙漠旅行，因为身体不允许，最终没有成行。“真羡慕你们，你们是环行塔克拉玛干沙漠的第一批画家，美术史应该给你们记上一笔。以后你们就走丝绸之路，就做丝路画家。”
“丝路画家”，这给了耿玉琨夫妇极大的信心。他们下定决心，把丝绸之路的研究与绘画作为终生的事业。老师黄永玉也曾鼓励两人，“一条路走到底，抛弃身边的干扰，勇往直前。”
“踏遍丝路，画绝丝路”
十几次出行，短则数月，长则两年多。每次回来，川资耗尽、画具用光，换回的是大批画作。赵以雄曾说：“在史书上看丝路，只能看到隐约的光辉，真正踏上丝路，你才会对它肃然起敬，它有神奇的魅力，使你离去复来。”
丝绸之路上的很多遗迹受到风沙侵蚀、现代开发的破坏在迅速消失。“踏遍丝路，画绝丝路”的使命感，让耿玉琨夫妇成为马不停蹄的旅人。
1989年秋，为全面考察丝路，耿玉琨夫妇自筹经费，买了一辆吉普车。从此，他们再也不用一趟趟地搭顺风车，骑毛驴，甚至抬着画箱步行了。
那是一辆银灰色的吉普车，虽然跑不快，又费油，爱出故障，没有空调，灌风漏雨，但还算皮实——这成了他们临时的家，还有了一个昵称“银驹”。夫妇俩开车赶路，停车作画，大半时间吃住在车上。
路上，赵以雄像一个老司机，耿玉琨则像一个地道农妇。赵以雄负责开车，耿玉琨负责记路、问路。有时候她跳下车时不小心摔个跟头，赵以雄担心她受伤，“生气得不得了”。
“银驹”见证了他们的万千惊险。1990年，从安多去当雄的路上，车坏了。赵以雄停下修车，耿玉琨找角度准备画速写，突然看到百米外有个东西猛地向她冲来。“这不是豹子吗？”耿玉琨转身狂奔。“赵以雄——快上车！”她边跑边喊，速写本飞了，鞋子也掉了一只，两人同时钻进车。刚关上门，听到外面“砰”一声，扭头一看，一只雪豹扑到车门前。雪豹围着车不停打转、扑门，“银驹”左摇右晃。绝望中，一辆大军卡停在他们面前，豹子吓跑了。下来三名军人，问过事情缘由后，帮他们修好了车子。
